Я пытаюсь протестировать запуск простого скрипта Hive с помощью Oozie, но постоянно получаю сообщение об ошибке, смысл которого не могу понять. Каждый раз, когда я отправляю задание, я получаю сообщение об ошибке, в котором говорится: «Задание не...

У меня есть рабочий процесс oozie, который начинается с вилки с двумя действиями watcher1 и watcher2. Мне нужно продолжить соединение, как только один из них, т. е. watcher1 или watcher2, будет успешным. Есть ли что-то в oozie, что я могу сделать...

Я пытаюсь запустить поток Oozie (v4.3.0), в одном из моих заданий у меня есть несколько входов и несколько картографов для каждого входа. Вот как это выглядит в классе Driver: MultipleInputs.addInputPath(job, new Path(args[0]),...

У меня есть сценарий оболочки (count.sh), который подсчитывает количество строк в файле. Этот сценарий был скопирован в hdfs, и в настоящее время я использую рабочий процесс Oozie для выполнения этого сценария. Однако мне было интересно, есть ли...

У меня есть простое искровое приложение, которое читает данные csv, а затем записывает их в avro. Это приложение работает нормально при отправке в виде командной строки spark-submit, но при попытке выполнить из действия искры oozie выходит из строя с...

Как указать другой путь к пользовательской библиотеке для разных действий в рабочем процессе oozie У меня есть действие искры и действие Java <workflow-app name="batch-publisher" xmlns="uri:oozie:workflow:0.5"> <start...

У меня есть приложение, которое динамически генерирует oozie workflow.xml, и теперь его размер увеличен до 245 524 байт, что превышает установленный по умолчанию предел в 100 000 байт, и при выполнении задания появляется следующая ошибка: Ошибка:...

У меня есть скрипт Python, который я хочу запланировать с помощью oozie. Я использую действие оболочки Oozie для вызова скрипта. В скрипте есть команда beeline. Когда я запускаю рабочий процесс oozie, я получаю сообщение об ошибке "sh: beeline:...

У меня есть несколько сложных рабочих процессов Oozie, которые нужно перенести с локальной Hadoop на GCP Dataproc. Рабочие процессы состоят из сценариев оболочки, сценариев Python, заданий Spark-Scala, заданий Sqoop и т. Д. Я столкнулся с...

У меня есть переменная среды, сохраненная в моем файле .bash_profile . Я пытаюсь получить к нему доступ через программу Spark, используя метод sys.env() в Scala. Когда у меня нет Oozie Scheduling, я могу правильно получить доступ к переменной...

Мы переносим наш кластер EMR на Dataproc и полагаемся на Oozie для выполнения наших рабочих процессов. Первая проблема заключается в том, как загрузить корзину workflow.xml из облачного хранилища. Раньше мы делали это с помощью S3:...

У меня есть действие оболочки oozie, которое принимает ряд аргументов, которые передаются сценарию оболочки. Я хочу запускать это действие несколько раз с разными аргументами каждый раз. Пример dag будет выглядеть примерно так: Start / |...