Перенос сообщений разной тематики на hdfs с помощью kafka-connect-hdfs

Я хочу передать данные из kafka в hdfs с помощью confluent, и я провожу эксперименты с помощью quickstart в модели CLI успешно.

Теперь я намерен развернуть объединенную платформу в производственной среде. Есть ли подробное руководство по распределенному развертыванию?

А если в кафке много тем, таких как register_info, video_play_info, video_like_info, video_repost_info и т.д.

Мне нужно обрабатывать сообщения разными преобразователями и передавать их в другую таблицу кустов.

что я должен?


person user1978965    schedule 31.10.2017    source источник
comment
@RobinMoffatt СПАСИБО   -  person user1978965    schedule 31.10.2017


Ответы (1)


Мне нужно обрабатывать сообщения разными конвертерами и передавать в другую таблицу кустов

  1. Выполнить bin/connect-distributed etc/kafka/connect-distributed.propeties
  2. Создайте отдельные файлы JSON для каждого соединителя HDFS.
  3. ОТПРАВИТЬ их в конечную точку REST Kafka Connect.

Распределенный режим описан здесь

person OneCricketeer    schedule 30.09.2018