Вопросы по теме 'oozie'
Безопасная веб-консоль Oozie не работает с моего компьютера с Windows
Я настроил безопасную (Kerberos) среду Oozie в CentOS 6.3, используя CDH 4.1.2. Я могу просматривать веб-консоль Oozie с машины CentOS, которая размещена на сервере. Но есть ли способ просмотреть веб-консоль с моего локального компьютера с Windows....
1999 просмотров
schedule
08.07.2022
Не удалось создать дистрибутив Oozie
Я пытаюсь установить oozie 3.3.0 и получаю следующую ошибку при запуске mkDistro.sh -DskipTests под $OOZIE_Home/bin
Downloading: http://repo1.maven.org/maven2/com/sun/xml/bind/jaxb-impl/2.2.3-1/jaxb-impl-2.2.3-1.jar
[INFO]...
1972 просмотров
schedule
27.05.2023
Удаление заданий из веб-интерфейса oozie?
Oozie будет перечислять все отправленные задания в своем веб-интерфейсе, включая RUNNING, KILLED, PREP и т. д. Есть ли способ удалить задания из веб-интерфейса oozie без непосредственного редактирования базы данных хранилища метаданных?
5734 просмотров
schedule
07.06.2023
Доступ к дате непосредственно в workflow.xml в случае заданий рабочего процесса oozie
Путь входных данных содержит текущую дату (INPUT/YYYY/MM/DD/HH/), а задание oozie — это просто задание рабочего процесса.
Я пробовал следующее, но не работал.
<java>
<job-tracker>${jobTracker}</job-tracker>...
1246 просмотров
schedule
23.04.2022
Подпроцесс Python с oozie
Я пытаюсь использовать subprocess в сценарии python , который я вызываю в действии оболочки oozie . Subprocess должен читать файл, хранящийся в HDFS Hadoop.
Я использую hadoop-1.2.1 в псевдораспределенном режиме и oozie-3.3.2.
Вот python...
3534 просмотров
schedule
11.05.2022
Установка Oozie - Ошибка при запуске oozied.sh
Я новичок в Oozie и пытаюсь установить и настроить Oozie. Я следую инструкциям на сайте Apache: " http://oozie.apache.org/docs/3.3.2/DG_QuickStart.html#Building_Oozie ". Мне удалось выполнить следующее:
Соберите дистрибутив, выполняющий...
3060 просмотров
schedule
03.11.2022
oozie отправляет только 10 одновременных заданий (максимум)
Наш рабочий процесс включает более 150 заданий, но oozie в любой момент времени отправляет максимум 10 одновременных заданий. У нас достаточно TaskTracker для обработки всех 150 заданий.
Любая идея, как мы можем увеличить максимальное количество...
1807 просмотров
schedule
14.11.2022
Как внешние клиенты уведомляют рабочий процесс Oozie с обратным вызовом HTTP
Допустим, у нас есть случай, когда рабочий процесс Oozie запускается с 3 узлами действий Java. Каждое действие Java будет выполнять асинхронный HTTP-вызов к внешним веб-службам (например, некоторым веб-службам, предоставляемым google.com, yahoo.com и...
1457 просмотров
schedule
18.06.2022
Как запустить oozie для исторических дат?
Я пытаюсь запустить координатора oozie для исторических дат, таких как
start-date = 2013-02-01T00:00Z
end-date = 2013-03-15T00:00Z
frequency = 1 day
Узи должен был немедленно начать/материализовать все действия на эти дни....
369 просмотров
schedule
04.02.2023
как запустить/установить oozie в кластере EMR
Я хочу организовать свою работу в EMR. поэтому я подумал, что Узи подойдет. Я сделал несколько POC в рабочем процессе oozie, но в локальном режиме он довольно прост и великолепен.
Но я не понимаю, как использовать oozie на кластере EMR....
6136 просмотров
schedule
29.10.2022
Рабочие процессы Oozie с помощью sqoop
Я установил oozie 4.0.0 в своей системе с Hadoop 1.2.1.
Моя цель - написать задания sqoop в oozie. Когда я погуглил и получил следующие ссылки: -
http://rvs.github.io/oozie/installing.html...
333 просмотров
schedule
20.03.2022
Невозможно запустить рабочий процесс oozie с действием Java
Я отправляю рабочий процесс oozie, разработанный в Hue, и он содержит несколько действий Java.
Hue отправляет и пытается выполнить рабочий процесс oozie, я всегда получаю следующую ошибку.
Failing Oozie Launcher, Main class...
2914 просмотров
schedule
25.10.2022
ошибка сборки oozie 4.0.1
Я пытаюсь собрать исходный код oozie 4.0, загруженный с http://apache.spinellicreations.com/oozie/4.0.1/ . Я могу собрать код, но не могу создать дистрибутив. Ниже представлены логи:
Я попытался сбросить значения размера кучи, но бесполезно....
217 просмотров
schedule
29.04.2023
Пример программы map-reduce oozie, не работающей на CDH 4.5
Я использую Hadoop (CDH 4.5) на своем Mac с некоторого времени и регулярно выполняю задания сокращения карты. Недавно я установил oozie (опять же, CDH4.5), следуя инструкциям по адресу:...
975 просмотров
schedule
12.04.2022
Использование виртуальной памяти пряжи
Я запускаю рабочий процесс oozie, состоящий из действия оболочки, запускающего этот сценарий.
java -classpath my.jar my.package.Main
Конфигурация действия оболочки выглядит так
<action name="run-test-script">
<shell...
2673 просмотров
schedule
08.05.2023
Пример Oozie застрял при выполнении задания свиньи
Я запускаю тестовое задание oozie в кластере с помощью yarn «oozie job -config /usr/lib/oozie/oozie-4.0.1/examples/apps/pig/job.properties -run», и мое задание застревает на 0%, а затем отправляет только стук сердца
2014-06-25 12:51:57,800...
1029 просмотров
schedule
29.04.2023
Ошибка Oozie при попытке выполнить bin / mkdistro.sh -DskipTests
Попытка установить oozie 4.0.1, следуя http://www.thecloudavenue.com/2013/10/installation-and-configuration-of.html версия hadoop - 2.4.0 maven - 3.0.4 sqoop - 1.4.4
при попытке выполнить "bin / mkdistro.sh -DskipTests" не удалось построить...
4005 просмотров
schedule
25.04.2022
FNF: невозможно выполнить ssh-base.sh
Пытаюсь запустить рабочий процесс Oozie, но продолжает получать следующее сообщение об ошибке:
org.apache.oozie.action.ActionExecutorException: FNF: невозможно выполнить ssh-base.sh на имени пользователя@имя_сервера | ErrorStream:...
1445 просмотров
schedule
20.12.2022
Оркестрация Apache Spark с использованием Apache Oozie
Мы думаем об интеграции искры apache в наш процесс вычислений, где мы сначала хотели использовать apache oozie и стандартные задания MR или MO (только карта).
После некоторых исследований осталось несколько вопросов :
Можно ли организовать...
2244 просмотров
schedule
30.06.2023
Ошибка при чтении файла данных avro в рабочем процессе oozie — класс несовместим с новым режимом API карты
Я пытаюсь запустить задание MR из рабочего процесса oozie с файлом данных avro в качестве входных и выходных данных. Mapper выдает Text и IntWritable. Я использую новый mr api — mapreduce. Мое определение рабочего процесса следующее:...
1464 просмотров
schedule
16.03.2022
