Как запустить oozie для исторических дат?

Я пытаюсь запустить координатора oozie для исторических дат, таких как

start-date = 2013-02-01T00:00Z 
end-date = 2013-03-15T00:00Z
frequency = 1 day

Узи должен был немедленно начать/материализовать все действия на эти дни.

2013-02-01T00:00Z
2013-02-02T00:00Z
2013-02-03T00:00Z
2013-02-04T00:00Z
...
...
2013-03-15T00:00Z

Но вместо этого Oozie генерирует/выполняет одно действие в день, и мне приходится ждать 43 дня, чтобы увидеть результаты. Можно ли как-то немедленно выполнить эти действия?


java hadoop oozie oozie-coordinator
person Pratik    schedule 10.03.2014    source источник

Ответы (2)


arrow_upward
0
arrow_downward

Явное управление временем ожидания (-1) в координаторе решило проблему, и действие материализуется каждые 5 минут. Можем ли мы настроить этот 5-минутный интервал?

<controls>
    <timeout>-1</timeout>
</controls>
person Pratik    schedule 10.03.2014
comment
Да, настройте oozie.service.CoordMaterializeTriggerService.lookup.interval (в секундах) в файле oozie-site.xml вашего сервера Oozie. - person Jeremy Beard; 18.02.2015

arrow_upward
0
arrow_downward

если я понимаю, о чем вы спрашиваете, это должно быть легко сделать.

<coordinator-app name="${coordName}" frequency="${coord:endOfDays(1)}"
start="${start}" end="${end}" timezone="UTC" xmlns="uri:oozie:coordinator:0.1">

вы можете установить ${start} на начальную историческую дату, которую вы хотите

person Mzf    schedule 18.03.2014
comment
Как вы можете видеть в описании, я уже сделал рабочий процесс/координатор правильно, но получил неожиданный результат. Теперь я решил эту проблему, добавив явное значение времени ожидания. У вас есть идеи, как мы можем настроить это минимальное значение материализации 5 минут? Спасибо. - person Pratik; 19.03.2014
comment
Вы можете добавить свой XML-файл координатора и файл свойств, который вы используете для запуска oozie? - person Mzf; 19.03.2014
comment
вы можете использовать -dryrun, чтобы увидеть вывод координатора - person Mzf; 23.03.2014