org.apache.avro.SchemaParseException: неопределенное имя

Моя искровая работа читает из Кафки и расшифровывает сообщение. мое задание искры хорошо работает в моем локальном кластере искры (https://archive.apache.org/dist/spark/spark-2.2.1/spark-2.2.1-bin-hadoop2.7.tgz) на MAC. но при запуске задания со искрой (2.2.1-hadoop-2.7, из https://hub.docker.com/r/gettyimages/spark/tags) на k8s и openstack, я получил следующую ошибку:

Caused by: org.apache.avro.SchemaParseException: Undefined name: "my_items"
    at org.apache.avro.Schema.parse(Schema.java:1052)
    at org.apache.avro.Schema.parse(Schema.java:1164)
    at org.apache.avro.Schema.parse(Schema.java:1094)
    at org.apache.avro.Schema$Parser.parse(Schema.java:927)
    at org.apache.avro.Schema$Parser.parse(Schema.java:917)

Я почти уверен, что в двух случаях задание spark пытается разобрать одну и ту же схему. почему задание искры не удалось выполнить на моем искровом кластере k8s? Я действительно сбит с толку и пока не знаю, как отлаживать. любые подсказки приветствуются. Спасибо


kubernetes apache-spark scala avro openstack-nova
person BAE    schedule 03.01.2019    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Скорее всего, это разные зависимости для Avro. 1.7.4 против 1.7.7.

Образ контейнера:

$ find / | grep avro
/usr/spark-2.2.1/examples/src/main/python/avro_inputformat.py
/usr/spark-2.2.1/examples/src/main/resources/users.avro
/usr/spark-2.2.1/jars/avro-mapred-1.7.7-hadoop2.jar
/usr/hadoop-2.7.3/share/hadoop/kms/tomcat/webapps/kms/WEB-INF/lib/avro-1.7.4.jar
/usr/hadoop-2.7.3/share/hadoop/httpfs/tomcat/webapps/webhdfs/WEB-INF/lib/avro-1.7.4.jar
/usr/hadoop-2.7.3/share/hadoop/common/lib/avro-1.7.4.jar
/usr/hadoop-2.7.3/share/hadoop/tools/lib/avro-1.7.4.jar
/usr/hadoop-2.7.3/share/hadoop/mapreduce/lib/avro-1.7.4.jar

Файл spark-2.2.1-bin-hadoop2.7.tgz:

$ find . | grep avro
./spark-2.2.1-bin-hadoop2.7/examples/src/main/python/avro_inputformat.py
./spark-2.2.1-bin-hadoop2.7/examples/src/main/resources/users.avro
./spark-2.2.1-bin-hadoop2.7/jars/avro-mapred-1.7.7-hadoop2.jar
./spark-2.2.1-bin-hadoop2.7/jars/avro-1.7.7.jar
./spark-2.2.1-bin-hadoop2.7/jars/avro-ipc-1.7.7.jar
# Hadoop Avro?
person Rico    schedule 03.01.2019