Измените расположение GCS по умолчанию для DAG для Cloud Composer

Есть ли способ изменить путь по умолчанию для Airflow DAG. При создании и выполнении новой среды среда композитора создает в проекте мультирегиональную корзину.

Есть ли способы переопределить расположение DAG на другое расположение GCS, а также изменить класс хранилища на региональный? Я обнаружил, что core-dags_folder - это свойство, используемое для указания местоположения DAG в среде, но я не понимаю, почему это заблокированная конфигурация и не может быть обновлена ​​разработчиком для любого другого местоположения GCS.


person Raunak Jhawar    schedule 07.02.2019    source источник


Ответы (1)


В настоящее время нет, путь по умолчанию для групп Airflow DAG в Cloud Composer изменить нельзя.

Вероятно, это сделано специально (поэтому core-dags_folder является заблокированным значением конфигурации), потому что один или несколько управляемых компонентов (например, веб-сервер Airflow) зависят от этих путей для координации синхронизации DAG и т. Д. Если вам интересно, вы можете узнать больше о синхронизации данных здесь < / а>.

Если у вас есть надежный вариант использования класса хранилища для одного региона или альтернативного расположения DAG, я бы порекомендовал отправка отзыва.

person hexacyanide    schedule 11.02.2019