Как просмотреть историю и журналы заданий Hadoop с помощью CDH4 и Yarn?

Я загрузил tar CDH4 для Hadoop с помощью Yarn, и задания выполняются нормально, но я не могу понять, где просмотреть журналы своего задания. В MRv1 я просто заходил в веб-приложение JobTracker, и в нем была история вакансий. Журналы отдельных заданий также были доступны здесь или в каталоге logs/userlogs.

В моей новой настройке Yarn (только работающей на одном компьютере) у меня есть каталог журналов, но нет папки logs/userlogs.

Когда я перехожу на веб-страницу ResourceManager, localhost:8088, там есть раздел «Все приложения», но здесь нет записей. Когда я захожу на веб-страницу JobHistory, localhost:19888, в списке нет вакансий.

Мне интересно, есть ли проблема с конфигурацией. Вот мои записи в yarn-site.xml:

<property>
  <name>yarn.nodemanager.local-dirs</name> 
  <value>/Users/dolan/cdh4/_hadoop_data/yarn/local</value>
</property> 
<property> 
  <name>yarn.nodemanager.log-dirs</name>
  <value>/Users/dolan/cdh4/_hadoop_data/yarn/logs</value> 
</property>
<property> 
  <name>mapreduce.jobhistory.address</name>
  <value>localhost:10020</value> 
</property>
<property> 
  <name>mapreduce.jobhistory.webapp.address</name>
  <value>localhost:19888</value> 
</property>
<property>
  <name>yarn.app.mapreduce.am.staging-dir</name>
  <value>/user</value>
</property>

Любые советы о том, что отлаживать, приветствуются.

Обновление: я проверил папку журнала nodemanager, и она пуста. Кроме того, каталоги истории заданий пусты. Одна странность заключается в том, что Hadoop сообщает мне INFO mapreduce.Job: The url to track the job: http://localhost:8080/, но этот адрес недоступен, когда я пытаюсь из браузера.

Обновление №2: я заметил, что каждое задание, которое я запускаю, имеет один и тот же идентификатор задания ("job_local_0001"). Это похоже на проблему конфигурации где-то.


configuration hadoop cloudera yarn
person Dolan Antenucci    schedule 01.12.2012    source источник
comment
Мне удалось решить ту же проблему при использовании java-api hapoop-client. Надеюсь это поможет. stackoverflow.com/questions/21345022/   -  person Chris Hinshaw    schedule 26.01.2014

Ответы (2)


arrow_upward
7
arrow_downward

Похоже, что задания здесь выполняются локально, а не в YARN вообще. Чтобы запустить задания в YARN, убедитесь, что в вашем mapred-site.xml есть это:

<property>
  <name> mapreduce.framework.name</name>
  <value>yarn</value>
</property>

В целом, вы, вероятно, получите более быстрый ответ на подобные вопросы, отправив электронное письмо в список рассылки cdh-user.

person Sandy Ryza    schedule 16.03.2013

arrow_upward
2
arrow_downward

Добавьте следующую конфигурацию в файл mapred-site.xml.

<property>
  <name> mapreduce.framework.name</name>
  <value>yarn</value>
</property>
<property> 
  <name>mapreduce.jobhistory.address</name>
  <value>localhost:10020</value> 
</property>
<property> 
  <name>mapreduce.jobhistory.webapp.address</name>
  <value>localhost:19888</value> 
</property>

и удалите конкретные конфигурации истории заданий, как вы указали в yarn-site.xml, например. выше два последних конфига из yarn-site.xml

person mehikmat    schedule 30.05.2014