Вопросы по теме 'apache-tez'
Как уменьшить количество генерируемых файлов SQL Alter Table/Partition Concatenate в Hive?
Версия улья: 1.2.1
Конфигурация:
set hive.execution.engine=tez;
set hive.merge.mapredfiles=true;
set hive.merge.smallfiles.avgsize=256000000;
set hive.merge.tezfiles=true;
Высокий уровень качества:
ALTER TABLE `table_name` PARTITION...
1583 просмотров
schedule
26.03.2023
Скрипт Pig выдает исключение Out Of Memory Exception на Tez, но работает с MapReduce
Показанный ниже сценарий Pig (с механизмом выполнения Tez) выдает исключение Out Of Memory Exception с таблицей сотрудников размером 15 ГБ в кластере из 4 узлов. Он отлично работает, когда механизм выполнения изменен на MapReduce.
pig -F -x tez...
399 просмотров
schedule
20.02.2023
Cloudera CDH не может запустить сервер временной шкалы пряжи для tez-ui
Когда я включаю сервер времени yarn, добавляя конфигурации в yarn-site.xml в дополнительных параметрах конфигурации Cloudera Manager:
<property>
<name>yarn.timeline-service.hostname</name>...
1208 просмотров
schedule
07.03.2023
spark-sql: ошибка при запуске сеанса NoClassDefFoundError: org / apache / tez / dag / api / SessionNotRunning
У меня возникла проблема при запуске сеанса spark-sql.
Первоначально, когда я инициировал сеанс искры, была видна только база данных по умолчанию (не база данных по умолчанию для Hive, а такая же для Spark).
Для просмотра баз данных кустов я...
1325 просмотров
schedule
30.07.2023
сеанс tez не начинается в улье
Я новичок в hadoop и yarn и пробовал запустить запрос на вставку улья в улье 2 beeline. Информация, которую я получаю: ИНФОРМАЦИЯ: сеанс Tez еще не создан. Открытие сессии и моя система, казалось, зависли. Я попытался проверить журналы порта YARN...
795 просмотров
schedule
08.07.2023
изменение размера контейнера hive tez из данных IBM с помощью соединителя JDBC занимает слишком много времени
В кластере mapr, использующем пряжу и движок tez, нам нужно запрашивать данные куста из datastage с помощью коннектора jdbc. В некоторых случаях нам нужно увеличить размер контейнера tez из-за размера данных. Мы делаем это перед оператором sql в...
124 просмотров
schedule
18.03.2022
Ошибка после настройки обработчика tez shuffle: сбой при инициализации оператора карты
После установки Tez Shuffle Handler следуйте инструкциям по: https://tez.apache.org/shuffle-handler.html Я получаю сообщение об ошибке при выполнении запроса:
Может ли кто-нибудь помочь здесь, пожалуйста?
LLAP внутренне использует обработчик...
107 просмотров
schedule
31.03.2022
Как hive управляет запросами на основе Non-Tez и Non-MapReduce
Create table t1(id int)
Я запускал вышеуказанный запрос в Hive 2.3.6 (MapR Hadoop Distribution 6.3.0).
Движок улья по умолчанию был tez. Итак, после запуска запроса я не смог увидеть, что какое-либо приложение TEZ запущено в веб-интерфейсе...
66 просмотров
schedule
06.05.2023