Лучшие практики оркестровки воздушного потока

Я начал использовать Airflow для планирования заданий в нашей компании, и мне интересно, какие у него лучшие практики.

Рекомендуется ли класть все свои задачи в один DAG? Если нет, то какова правильная середина между одним Dag и несколькими Dag?

Запланированное выполнение DAG собирает, преобразует, экспортирует и некоторые другие вычислительные программы. Так что у нас будут постоянно добавляться новые задачи.


airflow orchestration
person Ismail Addou    schedule 18.11.2018    source источник

Ответы (1)


arrow_upward
2
arrow_downward

Как правило, один файл Python состоит из одного DAG с несколькими задачами. Это потому, что это логическая группировка задач.

Если у вас есть несколько DAG, у которых есть зависимости, вы можете использовать TriggerDagRunOperator в конце DAG1. Это запустит DAG2 (отдельный файл DAG), если все задачи в DAG1 будут выполнены успешно.

Пример этого:

DAG1: https://github.com/apache/incubator-airflow/blob/master/airflow/example_dags/example_trigger_controller_dag.py

DAG2: https://github.com/apache/incubator-airflow/blob/master/airflow/example_dags/example_trigger_target_dag.py

person kaxil    schedule 19.11.2018