Amazon MapReduce без редукторной работы

Я пытаюсь создать задание только для картографа через AWS (потоковое задание). Поле редуктора является обязательным, поэтому я даю фиктивный исполняемый файл и добавляю -jobconf mapred.map.tasks=0 в поле дополнительных аргументов. В среде Hadoop (версия 0.20), которую я установил, никакие задания редуктора не запускаются, но в AWS фиктивный исполняемый файл запускается и терпит неудачу.

Как можно запускать задания без редуктора/сопоставителя в AWS?


person sagie    schedule 31.12.2009    source источник


Ответы (2)


вы также можете использовать cat или NONE в качестве аргумента редуктора.

person Community    schedule 28.02.2010
comment
NONE — это именно то, что я искал. Спасибо! - person sagie; 01.03.2010

В amazon M/R невозможно создать работу только для картографа. Вместо этого я использую редуктор Identity (org.apache.hadoop.mapred.lib.IdentityReducer).

person sagie    schedule 02.02.2010