Источник Kafka и приемник HDFS в Spring Cloud Data Flow

Я использую Kafka в качестве источника, и я хочу записывать сообщения на Kafka в HDFS с использованием приемника HDFS. Но я вижу, что файл создается в HDFS, но сообщение на Kafka не записывается в файл HDFS. Пожалуйста, найдите ниже Stream DSL.

stream create --definition ":streaming > hdfs --spring.hadoop.fsUri=hdfs://127.0.0.1:50071 --hdfs.directory=/ws/output --hdfs.file-name=kafkastream --hdfs.file-extension=txt --spring.cloud.stream.bindings.input.consumer.headerMode=raw" --name mykafkastream

Пожалуйста, помогите мне решить эту проблему.


spring-cloud-dataflow
person prash    schedule 02.03.2017    source источник

Ответы (1)


arrow_upward
1
arrow_downward

Возможно, данные еще не записаны на диск hdfs. Вы можете принудительно выполнить сброс / синхронизацию во время тестирования. Попробуйте установить --hdfs.enable-sync=true --hdfs.flush-timeout=10000 таким образом, чтобы данные записывались в hdfs каждые 10 секунд, независимо от того, заполнен буфер или нет.

person Thomas Risberg    schedule 02.03.2017
comment
Спасибо, Томас, он работает с упомянутыми вами изменениями. - person prash; 03.03.2017