Мы думаем об интеграции искры apache в наш процесс вычислений, где мы сначала хотели использовать apache oozie и стандартные задания MR или MO (только карта).
После некоторых исследований осталось несколько вопросов:
- Можно ли организовать процесс искры apache с помощью apache oozie? Если да, то как?
- Нужен ли oozie или Spark может сам справиться с оркестровкой? (похоже, что унификация является одной из основных проблем в Spark)
При ответе рассмотрите следующие сценарии:
- выполнение рабочего процесса каждые 4 часа
- выполнение рабочего процесса всякий раз, когда доступны определенные данные
- запустить рабочий процесс и настроить его параметры
Спасибо за ваши ответы заранее.
