Потребитель консоли Kafka не использует тему

У нас есть сервер, который обрабатывает создание и потребление сообщений. У нас есть 4 ноутбука, все макинтоши с конфлюэнтным интерфейсом работают с одной и той же командной строкой ...

./kafka-avro-console-consumer --from-begin --bootstrap-server 0.0.0.0:9092,0.0.0.0:9092 --topic topicName --property schema.registry.url = http://0.0.0.0:8081

У 3 из 4 ноутбуков нет проблем с потреблением сообщений, а у четвертого - нет. Я подтвердил, что у моего ноутбука такой же доступ к IP-адресам, я могу просматривать темы в реестре схем, перейдя по адресу / предметам, и я не получаю ошибок ни в консоли, ни в журнале.

Я совершенно не знаю, что еще проверить. Кто-нибудь еще имел такую ​​ситуацию и, возможно, нашел решение?


apache-kafka avro confluent-schema-registry confluent-platform
person Peej    schedule 23.01.2018    source источник
comment
Сколько разделов у используемой вами темы?   -  person Arek    schedule 23.01.2018
comment
Это на нашем тестовом поле, поэтому PartitionCount: 2 ReplicationFactor: 1   -  person Peej    schedule 23.01.2018
comment
Я также пробовал это на нашем сервере производительности, у него 48 разделов, и у меня такая же проблема. Чтобы добавить больше деталей, если я запускаю наш веб-прокси в коде (C #), который создает сообщение, он истекает через минуту или около того. Так что у меня проблемы как с производством, так и с потреблением.   -  person Peej    schedule 23.01.2018

Ответы (1)


arrow_upward
0
arrow_downward

Существует небольшая вероятность того, что два (или более) уникальных консольных приложения-потребителя получат тот же самый «случайный» идентификатор группы потребителей, что и другое, и поэтому вы будете видеть сообщения только в экземплярах, которым был назначен раздел темы, содержащий данные.

Одним из решений было бы передать уникальную группу в качестве свойства потребителя на каждую машину, в противном случае попробуйте перезапустить команду несколько раз на машине, не получая данных для рандомизации нового идентификатора группы.

Я полагаю, вы на самом деле не используете 0.0.0.0 в команде

person OneCricketeer    schedule 01.10.2018