У меня есть сообщение avro в двоичном формате в файле. Obj ^ A ^ D ^ Vavro.schemaÞ ^ B {"type": "record", "name": "rec", "namespace": "ns", "fields": [{"name": "id", "type": ["int", "null"]}, {"name": "name", "type": ["string", "null"]},...

Я хочу прочитать файлы avro, расположенные в Amazon S3, из блокнота Zeppelin. Насколько я понимаю, у Databricks есть замечательный пакет для этого spark-avro . Какие шаги мне нужно предпринять, чтобы загрузить этот jar-файл в мой кластер и...

У меня есть устаревшие данные в S3, которые я хочу преобразовать в формат паркета с помощью Spark 2 с помощью Java API. У меня есть желаемая схема Avro (файлы .avsc) и их сгенерированные классы Java с использованием компилятора Avro, и я хочу...

У меня есть задание Spark, которое обрабатывает некоторые данные в несколько отдельных фреймов данных. Я храню эти фреймы данных в списке, то есть фреймы данных []. В конце концов, я хотел бы объединить эти фреймы данных в иерархический формат и...

Я использую AvroKeyInputFormat для чтения файлов avro: val records = sc.newAPIHadoopFile[AvroKey[T], NullWritable, AvroKeyInputFormat[T]](path) .map(_._1.datum()) Поскольку мне нужно размышлять над схемой в своей работе, я получаю схему...

У меня проблема с простой задачей spark, которая читает файл Avro, а затем сохраняет его как таблицу паркета Hive. У меня есть 2 типа файла, в целом они одинаковы, но ключевая структура немного отличается - имена полей. Тип 1 root |-- pk:...

Я пытаюсь создать данные avro в kafka с помощью GenericData.Record, но получаю следующее исключение: Исключение в потоке "main" org.apache.avro.AvroRuntimeException: недопустимое поле схемы: emailAddresses.email Вот моя схема: {...

Я использую блоки данных spark-avro для преобразования схемы данных в схему avro. Возвращенная схема avro не имеет значения по умолчанию. Это вызывает проблемы, когда я пытаюсь создать общую запись из схемы. Может ли кто-нибудь помочь с правильным...

Я использую com.databricks.spark.avro. Когда я запускаю его из spark-shell вот так: spark-shell --jar spark-avro_2.11-4.0.0.jar , я могу прочитать файл, выполнив следующие действия: import org.apache.spark.sql.SQLContext val sqlContext = new...

Я использую структурированную потоковую передачу (Spark 2.4.0) для чтения сообщений avro через kafka и использую Confluent schema-Registry для получения / чтения схемы Я не могу получить доступ к глубоко вложенным полям. Схема выглядит так в...