Вопросы по теме 'hivecontext'

INSERT INTO с помощью SparkSQL HiveContext
Я пытаюсь запустить оператор вставки с моим HiveContext, например: hiveContext.sql('insert into my_table (id, score) values (1, 10)') 1.5.2 Документация Spark SQL не указывает явно, поддерживается это или нет. , хотя он поддерживает...
64650 просмотров

Исключение в потоке main java.lang.NoClassDefFoundError: org/apache/spark/sql/catalyst/analysis/OverrideFunctionRegistry
Я пробовал с приведенным ниже кодом в spark и scala, прикрепляя код и pom.xml package com.Spark.ConnectToHadoop import org.apache.spark.SparkConf import org.apache.spark.SparkConf import org.apache.spark._ import org.apache.spark.sql._ import...
7789 просмотров

Использование функций Hive в Spark Job через hiveContext
Я использую Hive 1.2 и Spark 1.4.1. Следующий запрос отлично работает через Hive CLI: hive> select row_number() over (partition by one.id order by two.id) as sk, two.id, two.name, one.name, current_date() from avant_source.one one inner join...
935 просмотров

Spark HiveContext: Spark Engine ИЛИ Hive Engine?
Я пытаюсь понять искру hiveContext . когда мы пишем запрос, используя hiveContext как sqlContext=new HiveContext(sc) sqlContext.sql("select * from TableA inner join TableB on ( a=b) ") Он использует Spark Engine ИЛИ Hive Engine ?? Я...
880 просмотров

aws glue HiveContext доступ к клею DataCatalog
Я могу прочитать таблицу, определенную в каталоге данных склеивания, из задания склеивания с помощью glueContext. Однако, если я хочу прочитать ту же самую таблицу с hiveContext, я получаю сообщение об ошибке, в котором говорится, что он не может...
572 просмотров

Где находится файл hive-site.xml в дистрибутиве Cloudera?
Я хотел бы знать, где находится конфигурация файла hive-site.xml в дистрибутиве Cloudera. В основном потому, что я хотел бы знать, где я могу найти такие свойства, как: hive.execution.engine=mr hive.enforce.bucketing=false...
393 просмотров