Свинья и HКаталог

Я получаю следующую ошибку, когда запускаю "pig -useHCatalog".

Exception inthread"main"java.lang.NoClassDefFoundError:/usr/lib/hive/lib/libthrift-    
0/9/1/jar:/usr/lib/hive/lib/hive-exec-0/12/0/2/0/6/0-76/jar:/usr/lib/hive/lib/libfb303-
0/9/0/jar:/usr/lib/hive/lib/jdo-api-3/0/1/jar:/usr/lib/hive/lib/slf4j-api-1/7/2/jar
Caused by: java.lang.ClassNotFoundException: .usr.lib.hive.lib.libthrift-
0.9.1.jar:.usr.lib.hive.lib.hive-exec-0.12.0.2.0.6.0-76.jar:.usr.lib.hive.lib.libfb303-
    0.9.0.jar:.usr.lib.hive.lib.jdo-api-3.0.1.jar:.usr.lib.hive.lib.slf4j-api-1.7.2.jar
        at java.net.URLClassLoader$1.run(URLClassLoader.java:202)
        at java.security.AccessController.doPrivileged(Native Method)
        at java.net.URLClassLoader.findClass(URLClassLoader.java:190)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:306)
        at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:301)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:247)
Could not find the main class: /usr/lib/hive/lib/libthrift-   
0.9.1.jar:/usr/lib/hive/lib/hive-exec-0.12.0.2.0.6.0-76.jar:/usr/lib/hive/lib/libfb303-
0.9.0.jar:/usr/lib/hive/lib/jdo-api-3.0.1.jar:/usr/lib/hive/lib/slf4j-api-1.7.2.jar.  
Program will exit

Я определил все переменные среды (включая PIG_CLASSPATH), как показано ниже, а также определил pig.additiona.jars в файлах pig.properties.

   export HADOOP_GROUP=hadoop ;
    export HADOOP_HOME=/usr/lib/hadoop
    export HCAT_HOME=/usr/lib/hcatalog
    export HIVE_HOME=/usr/lib/hive
    export templeton_host=$TEMPLETON_HOST
    export user_name=hcat
    export PIG_CLASSPATH=$HCAT_HOME/share/hcatalog/hcatalog-*.jar:\
    $HIVE_HOME/lib/hive-metastore-*.jar:$HIVE_HOME/lib/libthrift-*.jar:\
    $HIVE_HOME/lib/hive-exec-*.jar:$HIVE_HOME/lib/libfb303-*.jar:\
    $HIVE_HOME/lib/jdo2-api-*-ec.jar:$HIVE_HOME/conf:$HADOOP_CONF_DIR:\
    $HIVE_HOME/lib/slf4j-api-*.jar:/usr/lib/hive/lib/libthrift-    
    0.9.1.jar:/usr/lib/hive/lib/hive-exec-0.12.0.2.0.6.0-76.jar:/usr/lib/hive/lib/libfb303-
    0.9.0.jar:/usr/lib/hive/lib/jdo-api-3.0.1.jar:/usr/lib/hive/lib/slf4j-api-1.7.2.jar

    export PIG_OPTS=-Dhive.metastore.uris=thrift://$HIVE_HOST:$HIVE_PORT

В файле pig.properties

pig.additional.jars=/usr/lib/hive/lib/libthrift-0.9.1.jar:/usr/lib/hive/lib/hive-exec-   
   0.12.0.2.0.6.0-76.jar:/usr/lib/hive/lib/libfb303-0.9.0.jar:/usr/lib/hive/lib/jdo-api-  
   3.0.1.jar:/usr/lib/hive/lib/slf4j-api-1.7.2.jar

Пожалуйста, дайте мне знать, как это можно решить. Спасибо!


person user2732748    schedule 11.12.2013    source источник


Ответы (2)


Выполните шаги, указанные здесь, чтобы установить/настроить HCatalog и интегрировать его с Pig.

person Praveen Sripati    schedule 12.12.2013

Вам нужно настроить переменные среды в ~./bashrc

  • экспортировать SQOOP_HOME=/usr/lib/sqoop
  • экспортировать HBASE_HOME=/usr/local/Hbase
  • экспортировать HIVE_HOME=/usr/local/hive
  • экспортировать HCAT_HOME=/usr/local/hive/hcatalog
person Hamdi Charef    schedule 08.03.2016