Пытаясь глубже понять модель распределения Kafka, одно предложение из StackOverflow вызвало у меня шум, и я не могу ни получить подтверждение, ни опровергнуть.
Таким образом, чем больше у вас групп подписчиков, тем ниже производительность, поскольку kafka необходимо реплицировать сообщения во все эти группы и гарантировать полный порядок.
Насколько я понял из документации Kafka, несколько групп потребителей действуют аналогично отдельным потребителям. Внутри брокеров репликация не выполняется, поскольку каждый потребитель имеет собственное смещение для определенного раздела. Таким образом, количество групп не должно приводить к значительным накладным расходам, все данные находятся в одном месте, отличается только смещение. Это верно?
Если это верно, то нет никакого способа фактически ввести несколько непересекающихся потребителей, не влияя на пропускную способность, поскольку все потребители всегда запрашивают все разделы, и вводится какое-то копирование. Обратите внимание, что это не связано с количеством потребительских потоков, потоки только улучшают производительность потребителей, они не мешают работе брокера, насколько я могу заключить.
