Ошибка Oozie при попытке выполнить bin / mkdistro.sh -DskipTests

Попытка установить oozie 4.0.1, следуя http://www.thecloudavenue.com/2013/10/installation-and-configuration-of.html
версия hadoop - 2.4.0
maven - 3.0.4
sqoop - 1.4.4

при попытке выполнить "bin / mkdistro.sh -DskipTests" не удалось построить

..........
[ИНФОРМАЦИЯ] Apache Oozie HCatalog Libs ........................ УСПЕХ [0,399 с]
[ИНФОРМАЦИЯ] Apache Oozie Core ................................. ОТКАЗ [7,819 с]
[ИНФОРМАЦИЯ] Apache Oozie Docs ................................. ПРОПУСКАЕТСЯ
.... .....
[ОШИБКА] Не удалось выполнить цель проекта oozie-core: не удалось разрешить зависимости для проекта org.apache.oozie: oozie-core: jar: 4.0.0: Следующие артефакты не могут быть решено: org.apache.oozie: oozie-hadoop-test: jar: 2.4.0.oozie-4.0.0, org.apache.oozie: oozie-hadoop: jar: 2.4.0.oozie-4.0.0, org. apache.oozie: oozie-sharelib-oozie: jar: 4.0.0-cdh5.0.2, org.apache.oozie: oozie-sharelib-hcatalog: jar: 4.0.0-cdh5.0.2: Не удалось найти org.apache.oozie : oozie-hadoop-test: jar: 2.4.0.oozie-4.0.0 в htp: //repo1.maven.org/maven2 был кэширован в локальном репозитории, разрешение не будет повторяться, пока не истечет интервал обновления центрального хранилища или обновления принудительно -> [Справка 1]
[ОШИБКА]
[ОШИБКА] Чтобы увидеть полный стек трассировки ошибок, повторно запустите Maven с ключом -e.
[ОШИБКА] Перезапустите Maven с помощью переключателя -X, чтобы включить полное ведение журнала отладки.
[ERROR]
[ERROR] Для получения дополнительной информации об ошибках и возможных решениях, пожалуйста, прочтите следующие статьи:
[ERROR] [Help 1] htp: //cwiki.apache.org / confluence / display / MAVEN / DependencyResolutionException
[ERROR]
[ERROR] После исправления проблем вы можете возобновить сборку с помощью команды
[ERROR] mvn -rf: oozie-core < br />


Кто-нибудь пробовал oozie4.0.1 с hadoop 2.4.0? как я могу решить эту проблему?


person Y.Prithvi    schedule 26.06.2014    source источник
comment
попытался использовать 4.0.0 и столкнулся с аналогичной проблемой со снимком oozie. ссылка на grepalex.com/2014/02/16/oozie-and -hadoop-2.2 и решил проблему с установкой на данный момент ...   -  person Y.Prithvi    schedule 02.07.2014
comment
Какая версия java установлена ​​в вашей системе?   -  person Rajnish G    schedule 14.07.2014


Ответы (3)


Я тоже столкнулся с той же проблемой.

Попробуйте эти шаги по установке, у меня сработало изменение версий в следующих шагах, в зависимости от того, какая версия вам нужна.

STEP 1 : Extract the tar file using tar -xvf oozie-4.0.1.tar.gz
STEP 2 : Change the name oozie-4.0.1 to oozie using below command.
mv oozie-4.0.1 oozie
STEP 3 : Move to oozie/bin directory using cd oozie/bin Build oozie for 
             Hadoop-2.2 using below command.
mkdistro.sh -DskipTests Dhadoopversion=2
             Before build oozie we must change versions for java, hive pig, 
             sqoop in pom.xml file.
                    Java   - 1.7
                    Hive    - 0.13.0
                    Pig      - 0.12.1
                    Sqoop - 1.4.3


        Eg : <javaVersion>1.7</javaVersion>
             <targetJavaVersion>1.7</targetJavaVersion>
             <hive.version>0.13.0</hive.version>
             <pig.version>0.12.1</pig.version>
             <pig.classifier></pig.classifier>
             <sqoop.version>1.4.3</sqoop.version>
             If build is success you will get the message like 
             Oozie distro created, DATE[2014.01.05-18:55:14GMT] VC-  
               REV[unavailable], available at 
               [/home/labuser/oozie/distro/target]
             Now use the expanded oozie located in   
             /home/labuser/oozie/distro/target/oozie-4.0.1-distro/oozie-4.0.1
STEP 4 : Create a libext directory in expanded oozie and copy the 
             Hadoop-2.2.0 jar files and extjs zip file to libext directory.
STEP 5 : Set this property in Hadoop core-site.xml file.
        Eg : <property>
             <name>hadoop.proxyuser.labuser.hosts</name>
             <value>*</value>
             </property>
             <property>
             <name>hadoop.proxyuser.labuser.groups</name>
             <value>*</value>
             </property>
             Set this property in oozie-site.xml file located in conf directory
              <name>oozie.service.JPAService.create.db.schema</name>
              <value>true</value>
              By default it is false change it to true

Step 6 : Now prepare a oozie war file. So move to expanded oozie/bin 
             and run the below command. 
./oozie-setup.sh prepare-war
             If you get any error like zip: command not found then install 
             zip using following command sudo apt-get install zip
            Then again run the prepare-war command to create a file. if the
             war file created successfully you will get the message like 
                  INFO: Oozie is ready to be started
Step 7 : upload the share lib folder from expanded oozie to hdfs using the
            below command
./oozie-setup.sh sharelib create -fs hdfs://localhost:8020
Step 8 : Create a database for oozie using the command 
./oozie-setup.sh db create –run
              If database created then you will get the message like
setting CATALINA_OPTS="$CATALINA_OPTS -Xmx1024m"
Validate DB Connection 
DONE 
Check DB schema does not exist 
DONE 
Check OOZIE_SYS table does not exist 
DONE 
Create SQL schema 
DONE 
Create OOZIE_SYS table 
DONE
Oozie DB has been created for Oozie version ’4.0.0′
Step 9 : Start the oozie using ./oozied.sh start


Step 10 : Check status of oozie using the below command
              ./oozie admin –oozie http://localhost:11000/oozie -status
              You will get the message like System mode: NORMAL


Issues Faced with this installation
1.  While building hive-0.13.0 share library of Oozie, there is an unsolvable dependency ‘hive-builtins’. 
Cause: Hive-builtins jar is necessary in hive-0.10.0 but in hive-0.13.0 there is no hive-builtins.jar.
Solution: Removed dependency hive-builtins
2.  While building Oozie, we faced issue with java.lang.OutOfMemoryError
Cause: This error signals that the JVM running Maven has run out of memory. It is caused by maven-compiler-plugin
Solution: Edited a maven-compiler-plugin property
<fork>true</fork>
Fork allows running the compiler in a separate process. If false it uses the built in compiler, while if true it will use an executable.

Finally we made a Oozie bulid, with above versions of  Hadoop-ecosystems.
person Suresh Ram    schedule 04.07.2014

Я наткнулся на ту же ошибку и быстро поискал в Google, просто чтобы узнать, что еще открыт билет JIRA для перемещения профиля hadoop-2 в Hadoop 2.4.0.

https://issues.apache.org/jira/browse/OOZIE-1730

Понятия не имею, насколько это сложно, но сборка у меня точно так же не получается.

person davideanastasia    schedule 26.07.2014
comment
На самом деле это несложно: чтобы скомпилировать Oozie с помощью Hadoop 2.4.0, вам нужно внести изменения в файлы pom.xml, как показано в этом различии: issues.apache.org/jira/secure/attachment/12634020/ Я сделал то же самое и смог скомпилировать Oozie - person davideanastasia; 27.07.2014

Пожалуйста, посмотри.

Я построил 4.0.1 + Hadoop 1.2.1 + Hive 0.10.0.

В: когда вы говорите Hadoop = 2.4.1, это то, что вы изменили в pom.xml файла oozie или?

Когда я собираю пользовательскую версию hadoop и hive, мне нужно изменить

a. <OOZIE_BUILD_HOME>/pom.xml
b. <OOZIE_BUILD_HOME>/hadooplibs/hadoop-1/pom.xml
c. <OOZIE_BUILD_HOME>/hadooplibs/hadoop-distcp-1/pom.xml
d. <OOZIE_BUILD_HOME>/hadooplibs/hadoop-test-1/pom.xml 

Версия по умолчанию для hadoop - 1.1.1, поэтому найдите и замените любую нужную вам версию. как и в моем случае я сделал до 1.2.1

Другой аналогичный способ - изменить pom.xml, связанный с Hadoop 2.

Пожалуйста, дайте мне знать, если возникнут какие-либо вопросы.

С уважением, Маниш

person Manish Malhotra    schedule 17.10.2014