Вопросы по теме 'hivecontext'
INSERT INTO с помощью SparkSQL HiveContext
Я пытаюсь запустить оператор вставки с моим HiveContext, например:
hiveContext.sql('insert into my_table (id, score) values (1, 10)')
1.5.2 Документация Spark SQL не указывает явно, поддерживается это или нет. , хотя он поддерживает...
64650 просмотров
schedule
26.04.2023
Исключение в потоке main java.lang.NoClassDefFoundError: org/apache/spark/sql/catalyst/analysis/OverrideFunctionRegistry
Я пробовал с приведенным ниже кодом в spark и scala, прикрепляя код и pom.xml
package com.Spark.ConnectToHadoop
import org.apache.spark.SparkConf
import org.apache.spark.SparkConf
import org.apache.spark._
import org.apache.spark.sql._
import...
7789 просмотров
schedule
13.08.2023
Использование функций Hive в Spark Job через hiveContext
Я использую Hive 1.2 и Spark 1.4.1. Следующий запрос отлично работает через Hive CLI:
hive> select row_number() over (partition by one.id order by two.id) as sk,
two.id, two.name, one.name, current_date()
from avant_source.one one
inner join...
935 просмотров
schedule
12.06.2023
Spark HiveContext: Spark Engine ИЛИ Hive Engine?
Я пытаюсь понять искру hiveContext . когда мы пишем запрос, используя hiveContext как
sqlContext=new HiveContext(sc)
sqlContext.sql("select * from TableA inner join TableB on ( a=b) ")
Он использует Spark Engine ИЛИ Hive Engine ?? Я...
880 просмотров
schedule
05.04.2023
aws glue HiveContext доступ к клею DataCatalog
Я могу прочитать таблицу, определенную в каталоге данных склеивания, из задания склеивания с помощью glueContext. Однако, если я хочу прочитать ту же самую таблицу с hiveContext, я получаю сообщение об ошибке, в котором говорится, что он не может...
572 просмотров
schedule
29.09.2022
Где находится файл hive-site.xml в дистрибутиве Cloudera?
Я хотел бы знать, где находится конфигурация файла hive-site.xml в дистрибутиве Cloudera.
В основном потому, что я хотел бы знать, где я могу найти такие свойства, как:
hive.execution.engine=mr
hive.enforce.bucketing=false...
393 просмотров
schedule
02.07.2022