Можно ли назначить потребителя высокого уровня Kafka определенному разделу?

Учитывая тот факт, что Consumer в Kafka может быть настроен на получение сообщений только из одного раздела, я не видел подходов к настройке для этого.

Как мне сказать брокеру Kafka:

Что я ПОТРЕБИТЕЛЬ A с этим идентификатором в этой ГРУППЕ L, подписываюсь на ТЕМУ X, желаю получить поток РАЗДЕЛ А?

А затем запустите еще один ПОТРЕБИТЕЛЬ Б в ГРУППЕ L, который подписывается на ТЕМУ X, желая получить поток РАЗДЕЛЕНИЯ Б ?

Другими словами, как в сценарии, описанном Кафкой,

Как заставить потребителя подписаться на ленту на стене конкретного пользователя? Могу ли я запустить потребителя, когда пользователь входит в систему, потреблять его / ее раздел из темы и отправлять фид клиенту?


person Ravindranath Akila    schedule 28.09.2013    source источник


Ответы (1)


Кажется, это не функция, реализованная в 0.7.

Взгляните на эту ветку:

http://mail-archives.apache.org/mod_mbox/incubator-kafka-users/201205.mbox/browser

Однако в будущих выпусках запланировано:

https://issues.apache.org/jira/browse/KAFKA-345 https://issues.apache.org/jira/browse/KAFKA-909

person Ravindranath Akila    schedule 28.09.2013
comment
Этот ответ таков, чтобы любой, у кого возникла такая же проблема, мог понять, где я закончил свое исследование. Обратите внимание, что на данный момент доступна бета 1 версии 0.8, и мы могли бы посмотреть, будут ли эти функции реализованы. Потребитель низкого уровня - это лучший вариант (people.apache.org/~joestein/kafka-0.7.1-incubating-docs/kafka/) за счет потери многих предоставляемых функций. - person Ravindranath Akila; 28.09.2013
comment
проверьте Простой потребительский API в выпуске kafka 0.8. Как видно из их документа, вам следует использовать простой потребительский api, если вам нужен более точный контроль над сообщением, например, использование одного и того же смещения несколько раз или из определенного раздела и т. Д. - person user2720864; 29.09.2013