У меня есть три темы, каждая из которых имеет три раздела на кластере кафки. теперь всего 9 разделов. и когда я создаю 9 потребителей... 6 простаивают. используются только три потребителя. ожидание таково: каждый потребитель должен получить...

Я новичок в мире протокола KAFKA, и я хотел бы спросить у вас важную информацию, касающуюся моего проекта. Я использую файл AVRO для создания и использования сообщений, я хочу знать, могу ли я использовать один и тот же файл avro для нескольких...

Я заметил, что некоторые из моих тем о кафках ведут себя так, что я не могу четко объяснить. Например: ./kafka-topics.sh --describe --zookeeper ${ip}:2181 --topic test Topic:test PartitionCount:3 ReplicationFactor:1...

Я делаю репликацию данных в kafka. Но размер файла журнала kafka увеличивается очень быстро. Размер достигает 5 гб в сутки. В качестве решения этой проблемы я хочу немедленно удалить обработанные данные. Я использую метод удаления записи в...

Я пытаюсь использовать файл CSV размером 10 миллионов строк (600 МБ) через API подключения. Подключение начинается, потребление завершается для 3,7 миллиона записей. После этого я получаю следующую ошибку. [2018-11-01 07:28:49,889] ERROR Error...

Хотя есть ответы на вопрос, аналогичный приведенному выше. Мое любопытство заключается в том, что предположим, что n1-5 узлов находятся в кластере, где темы t1 находятся на n1, n2 и n3, тема t2 находится на n3, n4, n5. Теперь предположим, что p1...

Я новичок в Apache-Kafka. Я использую: zookeeper-3.6.0 kafka-2.13-2.4.1 Windows-7 Earlier i was able to create and list topics on the same machine. After i restarted my system, i am unable to create and list topics. I am getting below errors....

Мне нужно знать номер раздела темы Kafka, к которой идет запись Kafka. Перед казнью producer.send(record); Есть ли способ узнать, в какой раздел идет эта запись?

В настоящее время я работаю над установкой, в которой есть 6 kafka-brokers . Данные передаются в мой topic из двух producers со скоростью около 4000 сообщений в секунду, у меня есть 5 Consumers для этой темы, работающей в группе. Каким должно...