Я пытаюсь запустить простой скрипт Pig и запланировал его через Oozie , однако после запуска скрипта я получаю следующую ошибку Oozie.
Я использую Cloudera Enterprise Data Hub Edition Trial 5.6.0 (# 54, созданный jenkins на 20160211-1910 git: 1c2be84380aa23bd5d6993ec300e144c78b37bf2).
> 2016-04-09 06:37:06,229 [uber-SubtaskRunner] INFO org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.JobControlCompiler
> - Using reducer estimator: org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.InputSizeReducerEstimator
> 2016-04-09 06:37:06,237 [uber-SubtaskRunner] ERROR org.apache.pig.tools.grunt.Grunt - ERROR 2017: Internal error creating
> job configuration.
> <<< Invocation of Main class completed <<<
> Failing Oozie Launcher, Main class [org.apache.oozie.action.hadoop.PigMain], exit code [2]
> Oozie Launcher failed, finishing Hadoop job gracefully
> Oozie Launcher, uploading action data to HDFS sequence file: hdfs://node.xxxx.com:8020/user/admin/oozie-oozi/0000000-160409060732867-oozie-oozi-W/pig--pig/action-data.seq
ИЗМЕНИТЬ.
Дополнительная информация журнала с помощью командной оболочки oozie следующим образом.
oozie job -log 0000001-160409063446097-oozie-oozi-W -oozie http://xxxnode:11000/oozie
Выдает только следующее
63446097-oozie-oozi-W] ACTION[0000001-160409063446097-oozie-oozi-W@FirstJob] Launcher ERROR, reason: Main class [org.apache.oozie.action.hadoop.PigMain], exit code [2]
ERROR 2017
, и вы найдете много похожих сообщений. Кажется, это результат ряда возможных ошибок в том, как Pig генерирует свой план выполнения. Надеюсь, в других сообщениях есть предложения обходных путей. - person Samson Scharfrichter   schedule 15.04.2016