Spark-submit с uber-jar не смог выполнить задание без каких-либо выходных данных или журналов ошибок

Я пытаюсь сгенерировать uber-jar, используя команды sbt compile и sbt package для запуска моего приложения на нашем удаленном сервере, где spark установлен как автономный режим. Я использовал фреймворк deeplearning4j для построения нейронной сети LSTM и стремился выполнять модель обучения через искру. Тем не менее, я столкнулся с проблемой при запуске команды spark-submit:

spark-submit --class "lstm.SparkLSTM" --master local[*] 
stock_prediction_scala_2.11-0.1.jar --packages 
org.deeplearning4j:deeplearning4j-core:0.9.1 "/home/hadoop/ScalaWorkspace/Stock_Prediction_Scala/target/lstm_train/prices-split-adjusted.csv" "WLTW"

Проблема в том, что, казалось бы, искра-подчинение не сработало в моем случае. Он был завершен сразу после входа в spark-submit без каких-либо ошибок. Я не видел прогресса обучения на выходе.

[hadoop@abc lstm_train]$ spark-submit --class "lstm.SparkLSTM" --master local[*] stock_prediction_scala_2.11-0.1.jar --packages org.deeplearning4j:deeplearning4j-core:0.9.1 "/home/hadoop/ScalaWorkspace/Stock_Prediction_Scala/target/lstm_train/prices-split-adjusted.csv" "WLTW"
2018-04-25 17:06:50 WARN  Utils:66 - Your hostname, gaion34 resolves to a loopback address: 127.0.0.1; using 192.168.0.173 instead (on interface eno1)
2018-04-25 17:06:50 WARN  Utils:66 - Set SPARK_LOCAL_IP if you need to bind to another address
2018-04-25 17:06:51 WARN  NativeCodeLoader:62 - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
2018-04-25 17:06:51 INFO  ShutdownHookManager:54 - Shutdown hook called
2018-04-25 17:06:51 INFO  ShutdownHookManager:54 - Deleting directory /tmp/spark-c4aee15e-d23b-4c03-95a7-12d9d39f714a

мой основной класс: https://gist.github.com/rickyhai11/627d0da8bc93615785382b249618f43b

Как посмотреть сгенерированные логи с помощью команды spark-submit? Я пытался использовать --verbose, однако это не помогло.

Кто уже сталкивался с этой проблемой, подскажите пожалуйста. Благодарность


apache-spark scala lstm spark-submit deeplearning4j
person rickyhai11    schedule 25.04.2018    source источник
comment
Попробуйте поиграть с параметрами spark-submit, я подозреваю, что вам нужно использовать: --deploy-mode=client -› spark.apache.org/docs/latest/submitting-applications.html   -  person Pavel    schedule 25.04.2018
comment
@ rickyhai11 - Не могли бы вы помочь с разрешениями. Даже я получаю ту же ошибку.   -  person Sandeep Singh    schedule 10.09.2019

Ответы (1)


arrow_upward
1
arrow_downward

Как посмотреть сгенерированные логи с помощью команды spark-submit? Я пытался использовать --verbose, однако это не помогло.

См. веб-интерфейс на порту 8080, подробнее здесь

Поскольку вы упомянули «удаленный сервер», этот пользовательский интерфейс может быть недоступен в вашем локальном браузере по адресу localhost:8080. Вам понадобится переадресация портов с ssh-туннелированием.

Кроме того:

Опция --files гарантирует, что ваш .csv будет загружен в рабочий каталог каждого исполнителя.

Убедитесь, что .jar действительно присутствует в ./ По умолчанию sbt package создает uber jar в target/scala-2.11/

Я бы отказался от кавычек из имени класса

person maverik    schedule 25.04.2018