Как включить коннектор приемника Kafka для вставки данных из тем в таблицы по мере включения приемника

Я разработал kafka-сток-коннектор (с использованием confluent-oss-3.2.0-2.11, фреймворк подключения) для своего хранилища данных (Amppol ADS), в котором данные из тем kafka хранятся в соответствующих таблицах в моем магазине.

Все работает должным образом, пока серверы kafka и серверы ADS работают.

Нужна помощь / предложения по конкретному варианту использования, когда события попадают в темы kafka, а компонент нижнего приемника (ADS) не работает. Ожидается, что всякий раз, когда появляются серверы-приемники, записи, которые были загружены ранее в темах kafka, должны быть вставлены в таблицы;

Пожалуйста, посоветуйте, как поступить в таком случае.

Есть ли какая-либо поддержка в рамках Connect для этого ..? или, по крайней мере, некоторые ссылки будут большим подспорьем.


apache-kafka apache-kafka-connect confluent-platform
person Nilkanth Patel    schedule 04.04.2017    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Смещения SinkConnector сохраняются в теме _consumer_offsets в Kafka относительно имени вашего коннектора, и при перезапуске SinkConnector он будет выбирать сообщения с сервера Kafka из предыдущего смещения, которое он хранил в теме _consumer_offsets.

Так что вам не нужно ни о чем беспокоиться об управлении смещениями. Все это делается работниками фреймворка Connect. В вашем сценарии вы просто перезапускаете соединитель приемника. Если сообщения отправляются в Kafka вашим исходным коннектором и доступны в Kafka, коннектор получателя может быть запущен / перезапущен в любое время.

person Renukaradhya    schedule 13.04.2017