Порядок сообщений не сохраняется в модуле rsyslog-omkafka

Архитектура: Файл -> imfile -> omkafka -> тема Kafka с одним разделом -> потребитель

Содержимое файла статично. Он совсем не меняется. Я предположил, что omkafka отправляет данные брокеру kafka упорядоченным образом. Но это не так.

Есть ли способ настроить rsyslog для отправки файлов по порядку?

Если производитель отправляет сообщение в один раздел, порядок сообщений гарантируется Kafka. Следовательно, похоже, что модуль omkafka испортил порядок.


person JR ibkr    schedule 24.01.2019    source источник
comment
Если соединение не потеряно, повторного заказа быть не должно, если у вас современная версия librdkafka (›=v0.11.6).   -  person Edenhill    schedule 25.01.2019
comment
У меня последняя версия librdkafka. Я смог получить правильный порядок, 1. настроив максимальный запрос в полете на 1. Позже я также обнаружил, что мой conusmer был многопоточным; поэтому я настроил его на использование одного потока. Мне удалось сохранить порядок сообщений.   -  person JR ibkr    schedule 25.01.2019


Ответы (1)


Omkafka использует librdkafka за сценой, которая пока не поддерживает однократную доставку (https://github.com/edenhill/librdkafka/issues/1308). Как только эта проблема будет исправлена, я проверю ее снова.

person JR ibkr    schedule 24.01.2019
comment
В грядущей версии 1.0.0 librdkafka добавлена ​​поддержка идемпотентного производителя, что гарантирует порядок. - person Edenhill; 25.01.2019