Может ли Amazon Auto Scaling Service работать с сервисом Elastic Map Reduce?

так как веб-служба Amazon должна платить, поэтому просто хочу спросить людей, кто работал над ней, прежде чем я прыгну в нее, и подтвердить некоторые знания об этом.

Вопрос первый: в сервисе автоматического масштабирования Amazon говорится, что он может масштабировать экземпляры вверх и вниз. это значит?

это означает изменение типа экземпляра? или можно запускать/останавливать большее/меньшее количество экземпляров в зависимости от условия?

Вопрос второй: может ли структура автоматического масштабирования работать с уменьшением карты?

например, если у меня есть крайний случай, у меня будет бесконечное количество задач, и время для завершения задачи будет варьироваться и может потребовать больших вычислительных ресурсов. так могу ли я использовать службу автоматического масштабирования для уменьшения масштаба карты?

Спасибо


amazon-web-services mapreduce autoscalemode
person jojo    schedule 17.10.2010    source источник

Ответы (2)


arrow_upward
0
arrow_downward

ре. вопрос первый: «увеличение масштаба и уменьшение масштаба» означает, что они могут добавлять дополнительные экземпляры по мере необходимости, а затем количество экземпляров может быть уменьшено (т. е. экземпляры виртуальных машин могут быть закрыты), когда они больше не нужны.

ре. вопрос второй: я бы сказал, что автоматическое масштабирование на самом деле не имеет смысла для уменьшения карты, по крайней мере, если вы думаете о Hadoop: одна из основных идей, лежащих в основе Map/Reduce & Hadoop, заключается в том, что данные разделены между множеством узлов, и узлы могут затем обрабатывать данные, которые находятся близко к ним — в идеале на своем локальном диске или, по крайней мере, на другом компьютере в непосредственной (физической) близости. Запуск нового экземпляра, конечно, возможен, но это имеет смысл только в том случае, если вам не нужно копировать данные, которые вы хотите обработать, в новый экземпляр. Надеюсь, это объяснение имеет для вас смысл... В любом случае ознакомьтесь с предложением Amazon Elastic Map Reduce, который делает то, что вы хотите, по крайней мере, если я правильно понял ваш вопрос.

person mhanisch    schedule 25.05.2011

arrow_upward
0
arrow_downward

Вы можете взглянуть на Themis, платформу автоматического масштабирования EMR, разработанную в Atlassian. Текущие функции включают реактивное автоматическое масштабирование (в зависимости от текущей нагрузки кластера), а также упреждающее автоматическое масштабирование (на основе предварительно определенных расписаний), он поставляется с веб-интерфейсом, и инструмент очень прост в настройке.

(Извините за публикацию в старой ветке, но ответ может быть интересен читателям, обнаружившим эту ветку.)

person whummer    schedule 29.07.2016