Вопросы по теме 'apache-tez'

Как уменьшить количество генерируемых файлов SQL Alter Table/Partition Concatenate в Hive?
Версия улья: 1.2.1 Конфигурация: set hive.execution.engine=tez; set hive.merge.mapredfiles=true; set hive.merge.smallfiles.avgsize=256000000; set hive.merge.tezfiles=true; Высокий уровень качества: ALTER TABLE `table_name` PARTITION...
1583 просмотров
schedule 26.03.2023

Скрипт Pig выдает исключение Out Of Memory Exception на Tez, но работает с MapReduce
Показанный ниже сценарий Pig (с механизмом выполнения Tez) выдает исключение Out Of Memory Exception с таблицей сотрудников размером 15 ГБ в кластере из 4 узлов. Он отлично работает, когда механизм выполнения изменен на MapReduce. pig -F -x tez...
399 просмотров
schedule 20.02.2023

Cloudera CDH не может запустить сервер временной шкалы пряжи для tez-ui
Когда я включаю сервер времени yarn, добавляя конфигурации в yarn-site.xml в дополнительных параметрах конфигурации Cloudera Manager: <property> <name>yarn.timeline-service.hostname</name>...
1208 просмотров

spark-sql: ошибка при запуске сеанса NoClassDefFoundError: org / apache / tez / dag / api / SessionNotRunning
У меня возникла проблема при запуске сеанса spark-sql. Первоначально, когда я инициировал сеанс искры, была видна только база данных по умолчанию (не база данных по умолчанию для Hive, а такая же для Spark). Для просмотра баз данных кустов я...
1325 просмотров

сеанс tez не начинается в улье
Я новичок в hadoop и yarn и пробовал запустить запрос на вставку улья в улье 2 beeline. Информация, которую я получаю: ИНФОРМАЦИЯ: сеанс Tez еще не создан. Открытие сессии и моя система, казалось, зависли. Я попытался проверить журналы порта YARN...
795 просмотров
schedule 08.07.2023

изменение размера контейнера hive tez из данных IBM с помощью соединителя JDBC занимает слишком много времени
В кластере mapr, использующем пряжу и движок tez, нам нужно запрашивать данные куста из datastage с помощью коннектора jdbc. В некоторых случаях нам нужно увеличить размер контейнера tez из-за размера данных. Мы делаем это перед оператором sql в...
124 просмотров
schedule 18.03.2022

Ошибка после настройки обработчика tez shuffle: сбой при инициализации оператора карты
После установки Tez Shuffle Handler следуйте инструкциям по: https://tez.apache.org/shuffle-handler.html Я получаю сообщение об ошибке при выполнении запроса: Может ли кто-нибудь помочь здесь, пожалуйста? LLAP внутренне использует обработчик...
107 просмотров
schedule 31.03.2022

Как hive управляет запросами на основе Non-Tez и Non-MapReduce
Create table t1(id int) Я запускал вышеуказанный запрос в Hive 2.3.6 (MapR Hadoop Distribution 6.3.0). Движок улья по умолчанию был tez. Итак, после запуска запроса я не смог увидеть, что какое-либо приложение TEZ запущено в веб-интерфейсе...
66 просмотров
schedule 06.05.2023