У меня есть приложение Kafka version : 0.9.0.1, которое отправляет сообщения синхронно с ack=all.
С этой настройкой я получаю сообщение в секунду прибл. 75.
Когда я перехожу на ack=1, я увеличиваю пропускную способность до 453 сообщений в секунду.
Почему ack=all работает в 6 раз медленнее?
Мои целевые темы Kafka имеют один раздел и репликацию, установленную на 3.
Можно ли как-нибудь увеличить производительность ack=all?
Можно ли как-нибудь увеличить производительность ack=all?
Используйте асинхронную отправку с включенным повтором сообщения. сообщения будут отправляться в пакетном режиме, вы получите лучшую пропускную способность.
асинхронная отправка не означает потерю данных, повторная попытка сообщения и обратный вызов отправки сообщения могут быть использованы для гарантии успешной отправки, даже когда (replication factor - min.insync.replicas) брокеры не работают.
Нет никакого способа, потому что настройка ack предназначена для компромисса между производительностью и изменением потерянных данных. Таким образом, вы не можете выбрать оба.
