Вопросы по теме 'google-cloud-composer'
Удалить DAG в google composer - пользовательский интерфейс Airflow
Я хочу удалить группу DAG из пользовательского интерфейса Airflow, которая больше не доступна в папке GCS/dags . Я знаю, что у Airflow есть «новый» способ удаления дэгов из БД с помощью команды airflow delete_dag my_dag_id , представленной в...
2552 просмотров
schedule
27.07.2022
Google Cloud Composer с использованием Terraform
Я новичок в Terraform, есть ли простой способ управления и создания среды Google Cloud Composer с помощью Terraform?
Я проверил список поддерживаемых компонентов для GCP, похоже, что Google Cloud Composer сейчас отсутствует. В качестве работы я...
1959 просмотров
schedule
19.03.2023
Подождите, пока сработает DAG
У меня есть один контрольный даг, который запускает два других дага. Два дага должны работать последовательно, а не параллельно. Пробовал решить проблему так:
TriggerDag (using BashOp) -> ExternalDagSensor -> TriggerDag (using BashOp)...
1022 просмотров
schedule
26.07.2023
Задания Cloud Composer (Airflow) зависли
Мой Cloud Composer управляемый Airflow завис на несколько часов, так как я отменил экземпляр задачи, который занимал слишком много времени (назовем это задачей A)
Я очистил все DAG Runs и экземпляры задач, но есть несколько запущенных заданий и...
5515 просмотров
schedule
04.12.2022
GCP Cloud Composer - не может создать среду
Я пытаюсь создать среду Cloud Composer по умолчанию, но через 50 минут всегда получаю:
code: 2
message: "Composer Backend timed out. Currently running tasks are [stage: CP_COMPOSER_AGENT_RUNNING
description: "RPC Successful: Pull"...
1423 просмотров
schedule
25.09.2023
Передача безопасных конфигурационных файлов конфигурации в DataProcSparkOperator
Я использую Google dataproc для отправки искровых заданий и облачный композитор Google для их планирования. К сожалению, я столкнулся с трудностями.
Я полагаюсь на .conf файлы (файлы конфигурации безопасного типа) для передачи аргументов своим...
1384 просмотров
schedule
22.12.2022
Почему не следует запускать модули Kubernetes из Composer дольше часа?
В в документации Cloud Composer прямо указано что:
Из-за проблемы с клиентской библиотекой Kubernetes Python ваши модули Kubernetes должны быть рассчитаны на выполнение не более часа.
Однако он не дает больше контекста, чем этот, и я не...
1003 просмотров
schedule
14.03.2023
Где работает веб-сервер Airflow в Google Composer?
У меня есть следующие стручки:
NAME READY STATUS RESTARTS AGE
airflow-database-init-job-ggk95 0/1 Completed 0 3h
airflow-redis-0...
908 просмотров
schedule
27.07.2023
Как передать свойства задания Spark в DataProcSparkOperator в Airflow?
Я пытаюсь запустить банку Spark в Dataproc, используя DataProcSparkOperator Airflow. JAR находится в GCS, и я создаю кластер Dataproc на лету, а затем запускаю этот jar во вновь созданном кластере Dataproc.
Я могу выполнить это с помощью...
2423 просмотров
schedule
29.07.2022
Как получить идентификатор задания или результат воздушного потока DataFlowJavaOperator ()?
Я использую DataFlowJavaOperator () в воздушном потоке (Cloud Composer). Есть ли способ получить идентификатор выполненного задания потока данных в следующей задаче PythonOperator? Я хотел бы использовать job_id для вызова команды gcloud , чтобы...
1589 просмотров
schedule
09.10.2022
Измените расположение GCS по умолчанию для DAG для Cloud Composer
Есть ли способ изменить путь по умолчанию для Airflow DAG. При создании и выполнении новой среды среда композитора создает в проекте мультирегиональную корзину.
Есть ли способы переопределить расположение DAG на другое расположение GCS, а также...
485 просмотров
schedule
24.01.2023
Ссылка журнала неудачного задания Hive, отправленного в Dataproc через Airflow
Я отправил задание Hive с помощью DataprocWorkflowTemplateInstantiateInlineOperator Airflow в кластер Dataproc. Когда некоторые задания терпят неудачу в googlecloud-> dataproc-> jobs, я вижу ссылку на журнал с ошибкой:
Агент Google Cloud...
255 просмотров
schedule
25.01.2024
Ошибка доступа к корзине с помощью облачного композитора
Я получаю сообщение об ошибке при попытке доступа к корзине с помощью облачного композитора ...
[2019-03-18 11: 50: 00,651] {models.py:1594} ОШИБКА - 404 GET https://www.googleapis.com/storage/v1/b/gs://xxxx-cloud-composer?projection=noAcl : Нет...
512 просмотров
schedule
05.02.2023
Есть ли способ отредактировать оператор воздушного потока после создания?
У меня есть сценарий python, который динамически создает задачу (оператор воздушного потока) и DAG на основе файла JSON, который отображает все желаемые параметры. Скрипт также выделил функцию для создания любого необходимого оператора. Иногда я...
382 просмотров
schedule
07.03.2022
Ошибка синтаксического анализа не может найти модуль slackclient в Cloud Composer
Я создаю облачный компоновщик на GCP и добавляю к нему dag. Но веб-сервер показывает его No module named 'slackclient' , я добавляю pypi slackclient==2.0.1 из пользовательского интерфейса Cloud Composer. Он все еще не работает.
Как я могу решить...
423 просмотров
schedule
28.07.2023
как передать параметр запроса в файл sql с помощью оператора bigquery
Мне нужен доступ к параметру, переданному BigqueryOperator в файле sql, но я получаю сообщение об ошибке ERROR - queryParameters argument must have a type <class 'dict'> not <class 'list'> Я использую следующий код:
t2 =...
3832 просмотров
schedule
11.12.2023
Как установить учетную запись службы gcp по умолчанию для облачного композитора
Мне нужно запустить некоторые файлы Python (.py) в композиторе с помощью оператора bash. Эти файлы присутствуют в вычислительном движке, но я не могу общаться с вычислительным движком через композитор. Я думаю, мне нужно добавить переменную...
562 просмотров
schedule
04.03.2022
Прокси-сервер Cloud SQL в кластере Kubernetes: какие разрешения для учетной записи службы необходимы?
Я следую руководству Google ( https://github.com/GoogleCloudPlatform/cloudsql-proxy/blob/master/Kubernetes.md ), чтобы настроить прокси Cloud SQL в кластере Kubernetes.
В документации говорится:
You need a service-account token with "Project...
162 просмотров
schedule
12.06.2022
Куда в Cloud Composer попадают локально загруженные файлы?
У меня есть группа обеспечения доступности баз данных, которая загружает файл из облачного хранилища и сохраняет его по следующему пути: /home/airflow/gcs/data/FILENAME.txt
Затем этот файл появится в сегменте хранилища Cloud Composer под /data ....
639 просмотров
schedule
04.09.2022
Планирование рабочего процесса в кластере GCP Dataproc
У меня есть несколько сложных рабочих процессов Oozie, которые нужно перенести с локальной Hadoop на GCP Dataproc. Рабочие процессы состоят из сценариев оболочки, сценариев Python, заданий Spark-Scala, заданий Sqoop и т. Д.
Я столкнулся с...
897 просмотров
schedule
01.09.2022
