можно ли использовать Kafka с Google Cloud Dataflow

у меня два вопроса

1) Я хочу использовать Kafka с программой Google Cloud Dataflow Pipeline. в моей программе конвейера я хочу читать данные из кафки, возможно ли это?

2) Я создал экземпляр с включенным BigQuery, теперь я хочу включить Pubsub, как мне это сделать?


apache-kafka google-cloud-pubsub google-cloud-dataflow
person Jerome    schedule 27.04.2015    source источник

Ответы (3)


arrow_upward
3
arrow_downward

(1) Объявление, упомянутое Рагху, поддержка записи / чтения из Kafka была добавлена ​​в Apache Beam в середине 2016 года с пакетом KafkaIO. Вы можете проверить документацию пакета [1], чтобы узнать, как им пользоваться.

(2) Я не совсем понимаю, что вы имеете в виду. Вы можете предоставить более подробную информацию?

[1] https://beam.apache.org/releases/javadoc/current/org/apache/beam/sdk/io/kafka/KafkaIO.html

person Frances    schedule 27.04.2015
comment
В свойстве экземпляров в разделе «Разрешения» у меня были следующие варианты. Информация о пользователе Отключено Вычисление Отключено Хранилище Только для чтения Очередь задач Отключено BigQuery Отключено Cloud SQL Отключено Облачное хранилище данных Отключено Ведение журнала в облаке Только запись Облачная платформа Отключена ... поэтому я догадался, что мне нужно включить Pub / Sub во время самого создания, но я ошибался. - person Jerome; 28.04.2015
comment
Когда будущее? Я бы хотел использовать Kafka как часть конвейера потока данных. - person assumednormal; 15.06.2016
comment
Теперь вы можете использовать SDK Apache Beam со службой Cloud Dataflow, и он включает преобразования для чтения и записи с помощью Kafka: github.com/apache/beam/tree/master/sdks/java/io/kafka - person Frances; 28.04.2017

arrow_upward
2
arrow_downward

Поддержка Kafka была добавлена ​​в Dataflow (и Apache Beam) в середине 2016 года. Вы можете читать и писать в потоковые конвейеры Kafka. См. JavaDoc для KafkaIO в Apache Beam.

person Raghu Angadi    schedule 30.08.2017

arrow_upward
1
arrow_downward

(2) С 27 апреля 2015 г. вы можете включить Cloud Pub / Sub API следующим образом:

  1. Перейдите на страницу своего проекта в консоли разработчика.
  2. Нажмите APIs & auth -> APIs
  3. Нажмите More в Google Cloud APIs
  4. Нажмите Cloud Pub/Sub API
  5. Нажмите Enable API
person Takashi Matsuo    schedule 27.04.2015
comment
Спасибо за ответ, я понял. и включил Cloud Pub / Sub API. - person Jerome; 28.04.2015