MapReduce с помощью Tez

Я создаю инструмент проверки, который проверяет, работает ли Apache Tez в дистрибутиве Hadoop hortonworks. Для этого мне нужно проверить, выполняется ли простая программа уменьшения карты в Tez, я мог видеть, что свойство в mapred-default.xml необходимо изменить.

mapreduce.framework.name = yarn-tez (ref: http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.0.0.2/bk_installing_manually_book/content/rpm-chap-tez-2.html)

Я не хочу менять какие-либо настройки кластера, поэтому есть ли способ запустить MapReduce с помощью Tez, не касаясь mapred-default.xml?


hadoop mapreduce yarn
person user3861110    schedule 21.07.2014    source источник

Ответы (1)


arrow_upward
3
arrow_downward

Вы можете использовать «bin/hadoop jar hadoop-mapreduce-examples.jar wordcount -Dmapreduce.framework.name=yarn-tez input output».

«-Dkey=value» можно использовать для переопределения большинства свойств конфигурации, указанных в файлах *-site.xml.

Кроме того, вы можете запустить собственные примеры Tez для проверки настройки (из tez-examples.jar/tez-mapreduce-examples.jar в зависимости от версии Tez) вместо того, чтобы полагаться на запуск задания MapReduce в режиме tez.

person hadoop_user    schedule 21.03.2015