Запросы Hive не работают при передаче файла .hql с использованием параметра -f hive

У меня проблема с проводкой, я искал везде и не нашел ответа. Я запускаю cloudera 4.6 на одном узле и использую локальную базу данных mysql для базы данных метахранилища hive. У меня есть много таблиц кустов с данными внутри, которые я могу запрашивать с помощью пользовательского интерфейса Apache HUE Hive. Я также могу запускать запросы из командной строки с перерывами, получая

FAILED: ошибка в метаданных: java.lang.RuntimeException: невозможно создать экземпляр org.apache.hadoop.hive.metastore.HiveMetaStoreClient FAILED: ошибка выполнения, код возврата 1 из org.apache.hadoop.hive.ql.exec.DDLTask

примерно в половине случаев. Когда я когда-либо пытаюсь передать .hql в куст, как показано ниже, я каждый раз получаю указанную выше ошибку.

hive -f test.hql

Я также вижу эту ошибку всякий раз, когда взаимодействую с HIVE через рабочий процесс oozie. Первоначально у меня была локальная база данных метахранилища postgresql, в которой были аналогичные ошибки.

Ниже приведен мой файл hive-site.xml. Любая помощь, чтобы избавиться от этой ошибки будет принята с благодарностью.

enter code here

<xml>
<?xml version="1.0" encoding="UTF-8"?>

<!--Autogenerated by Cloudera CM on 2014-07-25T21:18:21.918Z-->
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/metastore?useUnicode=true&amp;characterEncoding=UTF-  8</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hive</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>notmypassword</value>
</property>
<property>
<name>hive.metastore.local</name>
<value>true</value>
</property>
<property>
<name>datanucleus.autoCreateSchema</name>
<value>false</value>
</property>
<property>
<name>datanucleus.metadata.validate</name>
<value>false</value>
</property>
<property>
<name>datanucleus.fixedDatastore</name>
<value>true</value>
</property>
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/data/user/hive/warehouse</value>
</property>
<property>
<name>hive.warehouse.subdir.inherit.perms</name>
<value>true</value>
</property>
<property>
<name>mapred.reduce.tasks</name>
<value>-1</value>
</property>
<property>
<name>hive.exec.reducers.bytes.per.reducer</name>
<value>1073741824</value>
</property>
<property>
<name>hive.exec.reducers.max</name>
<value>999</value>
</property>
<property>
<name>hive.metastore.execute.setugi</name>
<value>true</value>
</property>
<property>
<name>hive.support.concurrency</name>
<value>true</value>
</property>
<property>
<name>hive.zookeeper.quorum</name>
<value>els-f14847</value>
</property>
<property>
<name>hive.zookeeper.client.port</name>
<value>2181</value>
</property>
<property>
<name>hive.zookeeper.namespace</name>
<value>hive_zookeeper_namespace_hive1</value>
</property>
<property>
<name>hive.metastore.server.min.threads</name>
<value>200</value>
</property>
<property>
<name>hive.metastore.server.max.threads</name>
<value>100000</value>
</property>
<property>
<name>datanucleus.autoStartMechanism</name>
<value>SchemaTable</value>
</property>
</configuration>
</xml>

hadoop hive cloudera-manager hue
person Brian    schedule 25.07.2014    source источник
comment
Можете ли вы сделать запрос из улья, используя оболочку улья?   -  person SachinJ    schedule 27.07.2014
comment
Да, но только примерно в половине случаев. В другой половине я получаю FAILED: Error in metadata: error.   -  person Brian    schedule 28.07.2014

Ответы (1)


arrow_upward
0
arrow_downward

У вас нет дополнительной информации об ошибке DDTask? В Hue он должен появиться посередине вкладки журнала.

Обычно DDL дает сбой, когда вам не хватает некоторых базовых разрешений HDFS. Вы делаете какие-то таблицы ALTER/CREATE в своем скрипте? Каково его содержание?

person Romain    schedule 28.07.2014