Kafka обеспечивает доставку сообщений с малой задержкой благодаря последовательному вводу-выводу и принципу нулевого копирования. Те же методы обычно используются во многих других платформах обмена сообщениями/потоковой передачи. Последовательный ввод-вывод: Kafka сильно зависит от файловой системы для хранения и кэширования сообщений. Существует общее мнение, что «диски работают медленно», что означает большое время поиска. Представьте, если бы мы могли избежать поиска времени...

Буфер протокола Google (protobuf) – это хорошо известный формат сериализации данных, который эффективен (меньше и быстрее, чем json) и не зависит как от платформы, так и от языка. Этот пост посвящен тому, как мы можем использовать формат сериализации protobuf для отправки сообщений в тему kafka и их чтения. Я также вставил ссылку на github в конце для полного рабочего кода. Вот мой другой пост о программировании kafka с сериализацией Avro :..