Как можно настроить Druid в Dataproc?

Теперь, когда Druid стал необязательным компонентом Google Cloud Dataproc (https://cloud.google.com/dataproc/docs/concepts/components/druid), мне интересно, как можно выполнить настройку Druid из создания кластера Dataproc? Я пробовал следующую команду gcloud:

%gcloud dataproc clusters create test1 --region=us-east1 --zone=us-east1-b -- 
num-masters=1 --num-workers=2 --optional-components=ZOOKEEPER,DRUID -- 
properties=druid:druid.storage.type=google,...

Но возвращает ошибку:

Свойство druid: druid.storage.type имеет неподдерживаемый префикс.

Очевидно druid не является допустимым префиксом. Тогда как мне настроить Druid в Dataproc?

Спасибо.


google-cloud-dataproc druid
person Yan Zhou    schedule 03.08.2020    source источник

Ответы (2)


arrow_upward
0
arrow_downward

Druid все еще находится на стадии альфа-тестирования и не поддерживает конфигурацию хранилища Deep Storage или Metadata. Поддерживаются только свойства JVM и свойства времени выполнения компонента Druid (брокер, исторические данные и т. Д.).

Это также означает, что только HDFS поддерживается как глубокое хранилище и MySql как хранилище метаданных.

person Animesh    schedule 03.08.2020
comment
Спасибо за понимание. Могу ли я узнать, как настроить свойства Jvm и свойства времени выполнения компонента Druid (брокер, исторические данные и т. Д.) При создании кластера Dataproc? - person Yan Zhou; 04.08.2020

arrow_upward
0
arrow_downward

Для настройки Druid вы можете использовать следующие префиксы свойства кластера при создании кластера Dataproc с Druid:

druid-broker:<property-name>=<value>
druid-broker-jvm:<property-name>=<value>
druid-broker-runtime:<property-name>=<value>
druid-coordinator:<property-name>=<value>
druid-historical:<property-name>=<value>
druid-historical-jvm:<property-name>=<value>
druid-historical-runtime:<property-name>=<value>
druid-middleManager:<property-name>=<value>
druid-overlord:<property-name>=<value>
druid-router:<property-name>=<value>
person Igor Dvorzhak    schedule 25.08.2020