Вопросы по теме 'hive'
Гарантировано ли, что при использовании Hadoop мои редукторы получат все записи с одним и тем же ключом?
Я запускаю задание Hadoop с использованием Hive, которое должно содержать uniq строки во многих текстовых файлах. На этапе сокращения он выбирает для каждого ключа самую последнюю запись с отметкой времени.
Гарантирует ли Hadoop, что каждая...
5984 просмотров
schedule
09.04.2022
Где Hive хранит файлы в HDFS?
Я хотел бы знать, как найти соответствие между таблицами Hive и фактическими файлами HDFS (или, скорее, каталогами), которые они представляют. Мне нужен прямой доступ к файлам таблиц.
Где Hive хранит свои файлы в HDFS?
144069 просмотров
schedule
10.08.2022
Добавление нового тома к псевдораспределенному узлу Hadoop завершается сбоем
Я пытаюсь добавить новый том в псевдораспределенный узел Hadoop, добавив местоположение тома в dfs.name.dir в hdfs-site.xml , и я вижу файл блокировки в этом месте, но как я ни старался, кажется, что когда я загружаю файлы (с использованием улья)...
840 просмотров
schedule
01.10.2023
Hive не отвечает, когда я пытаюсь сделать запрос
У меня есть установка на экземпляре EC2, который использует Whirr для запуска новых экземпляров Hadoop. Я пытался заставить Hive работать с этой настройкой. Hive должен быть настроен на использование mysql в качестве локального хранилища метаданных....
2353 просмотров
schedule
02.03.2023
Как настроить сервер hive для работы в удаленном режиме?
я добавил пакет hive в свой кластер hadoop. если я зайду в hive cli, я смогу запустить hive в удаленном режиме. но запросы, проходящие через сервер улья, выполняются в локальном режиме, что очень медленно... единственные изменения, которые я сделал...
4357 просмотров
schedule
08.03.2023
Оживленная кассандра TimeUUIDType
Я использовал юркий. Семейство столбцов cassandra автоматически сопоставляется с таблицами Hive. Однако, если в семействе столбцов используется тип данных timeuuid, они не читаются в таблицах Hive.
Например, я использовал следующую команду для...
768 просмотров
schedule
10.02.2023
Использование отсортированных таблиц в Hive
Подводя итог: я чувствую, что моя система игнорирует концепцию предварительно отсортированных таблиц. - Я рассчитывал сэкономить время на этапе сортировки, поскольку использовал предварительно отсортированные данные, но план запроса, похоже,...
9464 просмотров
schedule
05.06.2022
зарегистрировать hive udf с помощью hue api
Как зарегистрировать UDF с помощью HUE API? Я использую приведенный ниже код, но он не может его зарегистрировать.
Query query1=new Query("create temporary function calculate as 'com.sample.MYUDF'",configuration,hadoop_user);...
1906 просмотров
schedule
11.07.2022
Почему результаты запроса куста разбиваются на несколько файлов
У меня есть задание Amazon ElasticMapreduce, настроенное для выполнения запроса куста.
CREATE EXTERNAL TABLE output_dailies (
day string, type string, subType string, product string, productDetails string,
uniqueUsers int, totalUsers int
)
ROW...
4315 просмотров
schedule
04.05.2022
Настройка Hive с помощью Hbase
Мне нужно выполнять запросы к HBase, используя куст. Я загрузил HBase, и мой HMaster работает нормально; Мне нужно знать, какие изменения конфигурации мне нужно сделать, чтобы Hive работал с HBase в качестве серверной базы данных. Любой учебник по...
7236 просмотров
schedule
14.07.2022
Ошибка в конфигурации Hive
Сценарий:
Во время настройки Hive, когда я ввожу hive-dir-path$ bin/hive, я получаю сообщение об ошибке: Missing Hive Builtins Jar.
Описание:
После успешной сборки пакета через ant, когда я пытаюсь запустить Hive CLI из каталога Hive. Я...
959 просмотров
schedule
16.10.2022
Как получить и проанализировать данные с сервера MS SQL с помощью Hadoop, Hive и Sqoop?
Я хочу провести анализ данных, которые находятся в базе данных (MS SQL Server). Итак, как я могу перенести эти данные в HDFS с помощью Sqoop/Hive? Возможно ли это с Hive/Sqoop? Пожалуйста, предложите мне, как мы можем это сделать.
Спасибо.
544 просмотров
schedule
26.09.2022
hive создать таблицу с именем файла 000000_0?
В настоящее время я создаю внешнюю таблицу следующим образом:
CREATE EXTERNAL TABLE site_datatype (
....
yada yada
....
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' LINES TERMINATED BY '\n'
LOCATION...
3344 просмотров
schedule
25.09.2023
Как заставить hive запускать задания mapreduce одновременно?
Я новичок в улье и столкнулся с проблемой,
У меня есть таблица в улье, как это:
create table td(id int, time string, ip string, v1 bigint, v2 int, v3 int,
v4 int, v5 bigint, v6 int) PARTITIONED BY(dt STRING)
ROW FORMAT DELIMITED FIELDS...
10092 просмотров
schedule
11.04.2023
Hive JDBC против клиента CLI
Мне нужно программно получить доступ к данным с помощью Hive (данные в порядке ГБ на запрос). Я оценивал драйвер CLI против драйвера Hive JDBC.
Когда мы используем JDBC, возникают дополнительные накладные расходы на резервный сервер, и я пытаюсь...
1874 просмотров
schedule
24.02.2023
Проблема с запросом HIVE (выберите количество (*))
Я создал таблицу кустов, как в Создать внешний с разделом
Я использую кустовую версию hive-0.7.1-cdh3u2 . Когда я выполняю простой запрос, т.е. выбираю количество (*), я получаю сообщение об ошибке.
hive> select count(*) from test where...
5704 просмотров
schedule
01.04.2022
Подсчет в Hadoop Hive
Я хочу подсчитать значения, похожие на карту, где ключ будет значением в столбце таблицы Hive, а соответствующее значение - счетчиком.
Например, для таблицы ниже:
+-------+-------+
| Col 1 | Col 2 |
+-------+-------+
| Key1 | Val1 |
| Key1 |...
15178 просмотров
schedule
22.05.2022
Hadoop mapred job - Ошибка инициализации попытки mapred задачи
Я случайно удалил hadoop.tmp.dir, в моем случае /tmp/{user.name}/*. Теперь каждый раз, когда я запускаю запрос куста из CLI, задание mapred завершается ошибкой при попытке выполнить задание, как показано ниже:
Error initializing...
2583 просмотров
schedule
16.02.2023
Запрос улья на существующей таблице в HBase
Я создал таблицу в HIVE, используя команду CREATE EXTERNAL TABLE для существующей таблицы в HBase.
Я могу видеть таблицу через оболочку HIVE
но при запросе к таблице через HIVE возвращает «0» записей. По журналам установлено, что HIVE выполняет...
980 просмотров
schedule
07.12.2022
Как сопоставить динамические столбцы DynamoDB в EMR Hive
У меня есть таблица в Amazon DynamoDB со структурой записи, например
{"username" : "joe bloggs" , "products" : ["1","2"] , "expires1" : "01/01/2013" , "expires2" : "01/02/2013"}
где свойство products представляет собой список продуктов,...
1806 просмотров
schedule
26.02.2023
