kafka python - Как правильно находить новые темы kafka, на которые потребитель еще не подписан?

Я новичок в мире kafka и пытаюсь сделать следующее для потребителя kafka в python

  1. получить список всех тем о кафках.
  2. получить список тем, на которые подписался потребитель.
  3. подписывайтесь на новые темы (на которые еще не подписывались).

Примечание. Для этого я могу использовать либо библиотеку confluent-kafka / kafka-python.

Любая помощь будет оценена.


person rocky502    schedule 21.04.2021    source источник


Ответы (1)


если вы создали своего потребителя с kafka-python

from kafka import KafkaConsumer

consumer = KafkaConsumer(
 bootstrap_servers = 'hostname:port',
)

вы можете просмотреть список тем, доступных с помощью

consumer.topics()

когда вы подписываетесь на темы, вы можете просматривать подписки потребителей с помощью

consumer.subscription()

Вы можете сделать одно минус другое, чтобы найти темы, на которые вам все еще нужно подписаться, а затем вы можете сделать это с помощью

consumer.subscribe(topics=[list_of_topic_names])
person Ftisiot    schedule 22.04.2021
comment
Похоже, что subscribe () не разрешает добавочную подписку на темы. Список, представленный в subscribe () fn, заменит существующий список подписки. Если да, то есть ли побочный эффект повторной подписки на те же темы? Дополнительная информация: kafka-python.readthedocs.io / ru / master / apidoc / - person rocky502; 28.04.2021