Как ввод данных в Druid в реальном времени?

Как сказал se7entyse7en:

Вы можете загрузить свои данные в Kafka, а затем использовать Kafka firehose для приема ваших данных. друидировать в режиме реального времени. После этого вы можете интерактивно запросить druid, используя его api.

Следует отметить, что firehoses можно настроить только на узлах реального времени Druid.

Вот руководство по настройке пожарного шланга Kafka: Загрузка потоковых данных < / а>. Помимо пожарного рукава Kafka, вы можете настроить другие предоставленные пожарные рукава - пожарный рукав Amazon S3, пожарный рукав RabbitMQ и т. Д. С помощью включая их, и вы даже можете написать свой собственный пожарный шланг в качестве расширения, например, здесь. Вот все расширения друидов.

Следует отметить, что Druid переключает прием данных в реальном времени с узлы реального времени в Служба индексирования, как описано здесь.

На данный момент лучше всего запустить задачу индексации в реальном времени на службе индексирования и тогда вы можете использовать API Druid для отправки данных для этой задачи. Вы можете использовать API напрямую, но гораздо проще использовать Tranquility. Это библиотека, которая автоматически создает новую задачу индексации в реальном времени для новых сегментов и позволяет отправлять сообщения нужной задаче. Вы также можете установить уровень репликации и сегментирования и т. Д. Просто запустите службу индексирования, используйте Tranquility, и вы можете начать отправлять свои сообщения в Druid.

Вы можете загрузить свои данные в Kafka, а затем использовать шланг Kafka druid для передачи ваших данных в Druid в режиме реального времени. После этого вы можете интерактивно запросить druid, используя его api.

Учитывая, что у вашего друида версия 0.9.x, лучший способ использования - это спокойствие. Остальной api довольно надежен и позволяет вам управлять схемой данных. Откройте страницу quickstart druid.io и нажмите "Загрузить данные потоковой передачи". раздел.

Я загружаю данные о кликах для нашего веб-сайта в режиме реального времени, и он работает очень хорошо. Итак, да, вы можете заменить Google Analytics на druid (при условии, что у вас есть необходимая инфраструктура).