Kafka Python Consumer Commit API

Мне нужно сделать программную фиксацию с помощью kafka-python api. Из документации я вижу, что мне нужно использовать API ниже, но не смог найти хороший пример использования:

введите здесь описание изображения

Ему нужны смещения в виде словаря TopicPartition и OffsetMetadata. Я думал об использовании API назначения() для потребителя, который возвращает мне список TopicPartitions текущего потребителя. Для OffsetAndMetadata я могу установить смещение, но я не понимаю, что мне нужно установить для атрибута метаданных. Документация не очень полезна.

Пожалуйста, дай мне знать.

Заранее спасибо.


apache-kafka kafka-python
person hakish    schedule 21.02.2020    source источник
comment
Если Java API является каким-либо указанием, metadata является необязательным - kafka.apache.org/23/javadoc/index.html?org/apache/kafka/clients/. Кроме того, этот SO может помочь stackoverflow.com/questions/36579815/?   -  person mazaneicha    schedule 21.02.2020

Ответы (1)


arrow_upward
1
arrow_downward

Метаданные являются необязательными в объекте OffsetAndMetadata. Вы можете передать None в качестве значения метаданных.

Kafka не использует эти метаданные внутри, поэтому фактически представляет собой непрозрачный массив байтов, который можно использовать для хранения данных, специфичных для приложения.

Подробнее здесь: https://github.com/dpkp/kafka-python/issues/ 645

person Arthur Erlendsson    schedule 21.02.2020