AWS EMR выполняет сценарий начальной загрузки на всех уже запущенных машинах в кластере.

У меня есть один кластер EMR, который работает круглосуточно и без выходных. Не могу выключить и запустить новую.

Я хотел бы выполнить что-то вроде действия начальной загрузки на уже работающем кластере, предпочтительно с использованием Python и boto или AWS CLI.

Я могу представить, как это сделать за 2 шага:

1) запустить скрипт на всех запущенных экземплярах (было бы неплохо, если бы это было как-то возможно, например, из boto)

2) добавление сценария к действиям начальной загрузки на случай, если я хочу изменить размер кластера.

Итак, мой вопрос: возможно ли что-то подобное с использованием boto или хотя бы AWS CLI? Я просматриваю документацию и исходный код на github, но не могу понять, как добавить новые действия «начальной загрузки», когда кластер уже запущен.


person ziky90    schedule 26.10.2014    source источник
comment
Кто-нибудь, у кого есть представитель на emr или amazon-emr предложите, пожалуйста, чтобы эти теги были синонимами? У меня нет представителя по этим тегам, чтобы предложить синоним, но они явно одинаковы.   -  person C8H10N4O2    schedule 23.08.2017


Ответы (1)


Поздний ответ, но я попробую:

Это будет сложно.

Вы можете установить Amazon SSM Agent и использовать интерфейс удаленных команд для запуска команды во всех экземплярах. Однако вам придется назначить экземплярам соответствующие роли SSM, что потребует перестройки кластера AFAIK. Однако для любых будущих команд перестройка не потребуется.

Тогда вы сможете использовать CLI для запуска команд на всех узлах (вероятно, boto тоже этого не проверял).

person Chris Chambers    schedule 20.02.2016