Есть ли способ отправлять письма с вложенными отчетами из EMR? Я использую Amazon Web Services. Я не хочу писать скрипт внутри EC2, чтобы получать данные из EMR, добавлять их в cron, а затем ежедневно отправлять почту. Удачи, уже есть планировщик заданий от Amazon, чтобы автоматизировать это?
Проблема:
Реализовать ежедневную работу по созданию файлов .csv/.xls поверх Hive.
Отправить отчет по электронной почте
Заранее спасибо!
Если вы используете конвейер данных AWS (и используете EMR в качестве узла внутри него), он поддерживает сигналы тревоги OnSuccees и OnFailure. В будильнике вы можете настроить отправку электронной почты вам. http://aws.amazon.com/datapipeline/faqs/ (ищите "Как сделать Я добавляю будильники к активности?»).
Вы не можете не настроить содержимое электронной почты. Может быть, вы можете хранить CSV в заранее указанном месте с некоторым соглашением об именах на основе времени/даты. Таким образом, когда вы получите письмо об успешном завершении, вы будете знать, где искать запись.
Все это вы можете сделать без написания лишнего кода (только конфигурации).
Один из вариантов — настроить Oozie в своем кластере EMR и создать рабочий процесс, который отправляет электронную почту через Amazon SES.
Вы можете прочитать больше об Oozie на их странице с открытым исходным кодом:
Вы также можете найти это полезным:
https://github.com/lila/emr-oozie-sample
и, наконец, Amazon SES:
