Можно ли использовать WebHDFS с Flume?

Я хотел бы, чтобы агент Flume находился за пределами кластера Hadoop и хотел бы знать, можно ли использовать Flume для отправки сообщений в кластер Hadoop с использованием WebHDFS.

Если нет, есть ли альтернативы использованию WebHDFS? Использование многоуровневого уровня Flume по-прежнему требует, чтобы агенты Flume работали внутри кластера Hadoop.


hadoop webhdfs flume flume-ng
person soaptree    schedule 05.01.2017    source источник
comment
Я ищу соответствующий ответ на тот же вопрос, мыльное дерево, но еще не понял. Поделюсь, когда сделаю. Если вы узнали это на данный момент, пожалуйста, ответьте на свою собственную загадку.   -  person nitinr708    schedule 12.09.2017
comment
Большое-большое спасибо за это мыльное дерево. Я пытался настроить его, но этот пример просто божественен.   -  person nitinr708    schedule 18.10.2017

Ответы (1)


arrow_upward
1
arrow_downward

Агенты Flume могут работать на своих собственных машинах, не находясь внутри кластера Hadoop, если вы укажете «hdfs» в качестве их типа.

У меня есть агент Flume, который записывает события avro в приемник hdfs, не находясь в кластере Hadoop и не используя WebHDFS.

Вот его настройки:

agent.sinks.sink1.channel = channel1
agent.sinks.sink1.type = hdfs
agent.sinks.sink1.hdfs.path = hdfs://hadoopd1.x.y.z/day/id/
agent.sinks.sink1.hdfs.rollInterval = 300
agent.sinks.sink1.hdfs.fileType = DataStream
agent.sinks.sink1.hdfs.writeFormat=Text
agent.sinks.sink1.hdfs.fileSuffix=.avro
agent.sinks.sink1.serializer=avro_event
agent.sinks.sink1.serializer = org.apache.flume.sink.hdfs.AvroEventSerializer$Builder
person soaptree    schedule 17.10.2017