Пример Oozie застрял при выполнении задания свиньи

Я запускаю тестовое задание oozie в кластере с помощью yarn «oozie job -config /usr/lib/oozie/oozie-4.0.1/examples/apps/pig/job.properties -run», и мое задание застревает на 0%, а затем отправляет только стук сердца

2014-06-25 12:51:57,800 [JobControl] INFO  org.apache.hadoop.yarn.client.RMProxy  - Connecting to ResourceManager at localhost/127.0.0.1:8032
2014-06-25 12:51:57,831 [JobControl] INFO  org.apache.hadoop.conf.Configuration.deprecation  - fs.default.name is deprecated. Instead, use fs.defaultFS
2014-06-25 12:51:58,021 [JobControl] INFO  org.apache.hadoop.mapreduce.lib.input.FileInputFormat  - Total input paths to process : 1
2014-06-25 12:51:58,021 [JobControl] INFO  org.apache.pig.backend.hadoop.executionengine.util.MapRedUtil  - Total input paths to process : 1
2014-06-25 12:51:58,021 [JobControl] INFO  org.apache.pig.backend.hadoop.executionengine.util.MapRedUtil  - Total input paths to process : 1
2014-06-25 12:51:58,022 [JobControl] INFO  org.apache.pig.backend.hadoop.executionengine.util.MapRedUtil  - Total input paths (combined) to process : 1
2014-06-25 12:51:58,022 [JobControl] INFO  org.apache.pig.backend.hadoop.executionengine.util.MapRedUtil  - Total input paths (combined) to process : 1
2014-06-25 12:51:58,034 [JobControl] INFO  org.apache.hadoop.mapreduce.JobSubmitter  - number of splits:1
2014-06-25 12:51:58,084 [JobControl] INFO  org.apache.hadoop.mapreduce.JobSubmitter  - Submitting tokens for job: job_1403700612904_0002
2014-06-25 12:51:58,084 [JobControl] INFO  org.apache.hadoop.mapreduce.JobSubmitter  - Kind: mapreduce.job, Service: job_1403700612904_0001, Ident: (org.apache.hadoop.mapreduce.security.token.JobTokenIdentifier@63ad6884)
2014-06-25 12:51:58,085 [JobControl] INFO  org.apache.hadoop.mapreduce.JobSubmitter  - Kind: RM_DELEGATION_TOKEN, Service: 127.0.0.1:8032, Ident: (owner=test, renewer=oozie mr token, realUser=root, issueDate=1403700700415, maxDate=14043$
2014-06-25 12:51:58,352 [JobControl] INFO  org.apache.hadoop.yarn.client.api.impl.YarnClientImpl  - Submitted application application_1403700612904_0002 to ResourceManager at localhost/127.0.0.1:8032
2014-06-25 12:51:58,393 [JobControl] INFO  org.apache.hadoop.mapreduce.Job  - The url to track the job: http://localhost:8088/proxy/application_1403700612904_0002/
2014-06-25 12:51:58,394 [main] INFO  org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher  - HadoopJobId: job_1403700612904_0002
2014-06-25 12:51:58,394 [main] INFO  org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher  - HadoopJobId: job_1403700612904_0002
2014-06-25 12:51:58,394 [main] INFO  org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher  - Processing aliases A,B
2014-06-25 12:51:58,394 [main] INFO  org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher  - Processing aliases A,B
2014-06-25 12:51:58,394 [main] INFO  org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher  - detailed locations: M: A[18,4],B[19,4] C:  R:
2014-06-25 12:51:58,394 [main] INFO  org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher  - detailed locations: M: A[18,4],B[19,4] C:  R:
2014-06-25 12:51:58,394 [main] INFO  org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher  - More information at: http://localhost:50030/jobdetails.jsp?jobid=job_1403700612904_0002
2014-06-25 12:51:58,394 [main] INFO  org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher  - More information at: http://localhost:50030/jobdetails.jsp?jobid=job_1403700612904_0002
2014-06-25 12:51:58,429 [main] INFO  org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher  - 0% complete
2014-06-25 12:51:58,429 [main] INFO  org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher  - 0% complete
Heart beat
Heart beat
Heart beat
Heart beat
Heart beat
Heart beat
Heart beat
Heart beat
Heart beat

hadoop oozie apache-pig
person vaifer    schedule 25.06.2014    source источник
comment
поделишься свинкой?   -  person Mzf    schedule 25.06.2014
comment
можете ли вы поделиться своим workflow.xml и pigscript   -  person K S Nidhin    schedule 25.06.2014

Ответы (2)


arrow_upward
0
arrow_downward

Я тоже столкнулся с той же проблемой при планировании pig-0.12.1 в oozie-4.0.1 с hadoop-2.2.0.

Я не могу запланировать сценарий свиньи с помощью oozie в hadoop-2.2.0 в кластере с одним узлом. Но я сделал это в многоузловом кластере, внеся следующие изменения.

NodeManager и Resource Manager работают в одной системе. Итак, я получаю эту ошибку. Я запустил диспетчер узлов во второй системе, и моя проблема решена.

person Suresh Ram    schedule 04.07.2014
comment
Если я запускаю более двух заданий oozie одновременно, это означает, что он не запустится и снова возникнет та же проблема. Потому что при запуске задания oozie означает, что задание запуска было создано, оно занимает один менеджер узлов. Это решение не помогло во всех случаях. - person ǨÅVËĔŊ RĀǞĴĄŅ; 31.12.2014

arrow_upward
0
arrow_downward

Здравствуйте, ошибка Heart beat возникает из-за недостаточного общего объема памяти в Hadoop. Это потому, что вы можете работать на небольшой кластерной машине.

Решение: Итак, вы хотите увеличить размер общей памяти, чтобы все менеджеры узлов выполняли задание mapreduce. Шаги выполняются по этой ссылке "РЕШЕНИЕ ОШИБКИ СЕРДЕЧНОГО БИТИЯ"

person ǨÅVËĔŊ RĀǞĴĄŅ    schedule 09.01.2015