Не удается запустить потоковое задание Hadoop: отсутствуют необходимые параметры: ввод, вывод

Я пытаюсь запустить потоковое задание на кластере серверов аналитики DSE 3.1. Я использую Cassandra CF для ввода. Но жалуется на входные и выходные параметры, а они были заданы (поставил только из-за жалоб):

dse hadoop jar $HADOOP_HOME/lib/hadoop-streaming-1.0.4.8.jar \
-D cassandra.input.keyspace="tmp_ks" \
-D cassandra.input.partitioner.class="MurMur3Partitioner" \
-D cassandra.input.columnfamily="tmp_cf" \
-D cassandra.consistencylevel.read="ONE" \
-D cassandra.input.widerows=true \
-D cassandra.input.thrift.address=10.0.0.1
-inputformat org.apache.cassandra.hadoop.ColumnFamilyInputFormat \
-outputformat org.apache.hadoop.mapred.lib.NullOutputFormat \
-input /tmp_ks/tmp_cf \
-output /dev/null \
-mapper mymapper.py \
-reducer myreducer.py

Получил «ОШИБКА потоковой передачи.StreamJob: отсутствуют необходимые параметры: ввод, вывод». Я пробовал разные входы и выходы, разные форматы вывода, но получил ту же ошибку.

Что я сделал не так?


streaming cassandra hadoop datastax
person user403579    schedule 15.01.2014    source источник

Ответы (3)


arrow_upward
2
arrow_downward

Я заметил, что эта часть вашей команды не имеет обратной косой черты:

...
-D cassandra.input.thrift.address=10.0.0.1
...

Может быть, это искажает следующие строки?

person Nonnib    schedule 24.09.2014

arrow_upward
1
arrow_downward

Ввод должен быть существующим путем в HDFS, а вывод должен быть несуществующим путем в HDFS.

person zhutoulala    schedule 15.01.2014
comment
Я не использую HDFS: -inputformat org.apache.cassandra.hadoop.ColumnFamilyInputFormat - person user403579; 15.01.2014

arrow_upward
0
arrow_downward

Я также заметил это неправильно с вашей командой:

...    
-D cassandra.input.partitioner.class="MurMur3Partitioner" \
...

Класс должен быть «Murmur3Partitioner».

person Mehran    schedule 10.05.2016