IIDR CDC Kafka на AWS

Мы пытаемся опубликовать данные формы db2-IIDR (IBM CDC) в Kafka на AWS. Подписка не удалась из-за ошибки ниже:

 An error occurred during the conversation with Kafka. 
    Error: org.apache.kafka.common.errors.TimeoutException: Batch containing 1 record(s) expired due to timeout while requesting metadata from brokers for cdckafka-subsname-commitstream-0

Существуют ли какие-либо предварительные условия для публикации потоков из IIDR в Kafka на aws?

Еще немного подробностей -

-Кластер Kafka работает на AWS

-IIDR CDC Engine -> локально (как исходный, так и целевой)

- IP-адреса на предприятии занесены в белый список, и я могу пинговать / telnet-порты из локальной сети в aws и наоборот.

Спасибо!


apache-kafka amazon-web-services cdc ibm-data-replication ibm-infosphere
person Tony    schedule 25.01.2019    source источник
comment
Здесь вы немного не разбираетесь в деталях :) Как выглядит ваше развертывание с точки зрения сети? Все локально для AWS? Как вы настроили Kafka для сети? и т.д   -  person Robin Moffatt    schedule 25.01.2019
comment
@Robin - я редактировал вопрос. Дайте мне знать, если вам понадобится дополнительная информация.   -  person Tony    schedule 28.01.2019

Ответы (1)


arrow_upward
1
arrow_downward

Вам необходимо настроить брокеров Kafka со слушателями, которые будут работать с внешними клиентами. Вы можете увидеть подробную информацию здесь.

Просто выполнить эхо-запрос от локального клиента к AWS недостаточно - вам необходимо проверить его с помощью клиента Kafka, такого как kafkacat

person Robin Moffatt    schedule 28.01.2019