Работает ли Samza с ResourceManager в HA?

У кого-нибудь Samza работает с менеджером ресурсов в HA? Если да, то что мне установить yarn.resourcemanager.hostname в yarn-site.xml?

Если я установлю его на первый из моих RM, отправка задания будет работать нормально, если я отправлю задание из этого RM, а RM будет активным. Если машина RM, с которой я запускаю отправку задания, не активна, я получаю сообщение об ошибке отказа в соединении на порту 8032.


hadoop yarn apache-samza
person John    schedule 03.11.2015    source источник

Ответы (1)


arrow_upward
1
arrow_downward

Да у нас самза работает с RM в режиме HA. В основном убедитесь, что для yarn-site.xml заданы свойства, определенные ниже. Это гарантирует, что отправка задания попытается подключиться к другому RM, если первый не удастся.

    <property>
      <name>yarn.resourcemanager.hostname</name>
      <value>yarn_resource_manager_hostname</value>
    </property>
    <property>
      <name>yarn.resourcemanager.ha.enabled</name>
      <value>true</value>
    </property>
    <property>
      <name>yarn.resourcemanager.cluster-id</name>
      <value>yarn_cluster_id</value>
    </property>
    <property>
      <name>yarn.resourcemanager.ha.rm-ids</name>
      <value>rm1,rm2</value>
    </property>
    <property>
      <name>yarn.resourcemanager.hostname.rm1</name>
      <value>yarn_resource_manager_hostname</value>
    </property>
    <property>
      <name>yarn.resourcemanager.hostname.rm2</name>
      <value>yarn_resource_manager2_hostname</value>
    </property>
    <property>
      <name>yarn.resourcemanager.address.rm1</name>
      <value>yarn_resource_manager_hostname:8032</value>
    </property>
    <property>
      <name>yarn.resourcemanager.address.rm2</name>
      <value>yarn_resource_manager2_hostname:8032</value>
    </property>
person Joseph    schedule 14.01.2016
comment
мои порты были другими, но в остальном на месте - person Edi Bice; 12.09.2016
comment
Последние сборки Samza также поддерживают восстановление NM и восстановление RM с сохранением работы. Включение этих двух функций восстановления при включении HA — очень хорошая идея. - person Jon Bringhurst; 22.11.2016