Вопросы по теме 'cloudera-cdh'
Не удалось подключиться к базе данных на хосте «http://namenode.tarun.com:7432» с хоста «namenode.tarun.com».
я установил сервер менеджера cloudera, выполняя настройку базы данных встроенной базы данных. Ошибка приведена ниже:
Не удалось подключиться к базе данных на хосте ' http://namenode.tarun.com:7432 ' с хоста ' namenode.tarun.com», используя...
978 просмотров
schedule
07.05.2023
Класс com.hadoop.compression.lzo.LzoCodec не найден для Spark на CDH 5?
Я работаю над этой проблемой в течение двух дней и до сих пор не нашел пути.
Проблема : наш Spark, установленный через новейшую CDH 5, всегда жалуется на потерю класса LzoCodec, даже после того, как я установил HADOOP_LZO через Parcels в менеджере...
29026 просмотров
schedule
03.04.2024
Неверная конфигурация: адрес namenode dfs.namenode.rpc-address не настроен
Я получаю эту ошибку, когда пытаюсь загрузить DataNode. Из того, что я прочитал, параметры RPC используются только для конфигурации HA, которую я не настраиваю (я думаю).
2014-05-18 18:05:00,589 INFO [main] impl.MetricsSystemImpl...
34043 просмотров
schedule
11.05.2023
Пример программы map-reduce oozie, не работающей на CDH 4.5
Я использую Hadoop (CDH 4.5) на своем Mac с некоторого времени и регулярно выполняю задания сокращения карты. Недавно я установил oozie (опять же, CDH4.5), следуя инструкциям по адресу:...
975 просмотров
schedule
12.04.2022
Как последовательно запускать запросы Hue Hive
Я настроил Cloudera Hue и имею кластер мастер-узла на 200 Гб и 16 Гб ОЗУ и 3 датнода по 150 Гб и 8 Гб ОЗУ.
У меня есть база данных размером около 70 ГБ. Проблема в том, что когда я пытаюсь запустить запросы Hive из редактора кустов ( HUE GUI )....
7541 просмотров
schedule
19.10.2022
Последняя зависимость MRunit в репозитории cloudera
Мне не удалось найти последнюю версию mrunit(1.1.0) в репозитории Cloudera . Доступен 0.8.0-incubating . Ниже мой pom :
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"...
1274 просмотров
schedule
29.11.2022
Почему сканирование больших двоичных объектов приводит к сбою кластера HBase?
У меня есть таблица HBase, в которой есть два семейства столбцов: «i: *» для информации и «f: b» для файла: blob. Я храню изображения в значении, некоторые изображения почти 12 МБ.
Я могу загружать/вставлять файлы без проблем в java, но как только...
909 просмотров
schedule
30.08.2023
Выбор подходящих файлов JAR для запуска уменьшения карты из eclipse
У меня установлен Hadoop 2.0.0 CDH -4.7.0. Я хочу настроить свое затмение для запуска собственных программ уменьшения карты, но я не уверен, какие файлы Hadoop jAR добавить в качестве ссылки. Я добавил все файлы jar, но это не сработало для меня....
550 просмотров
schedule
22.12.2023
Индексатор Cloudera hbase не работает
Я пытаюсь проиндексировать таблицу HBase, следуя инструкции , но в итоге я увидел немного другую информацию:
./hbase-indexer list-indexers --zookeeper 192.168.0.1:2181,192.168.0.2:2181
my_index
Lifecycle state: ACTIVE
Incremental...
1259 просмотров
schedule
26.01.2024
пользователи, кроме root, не могут получить доступ к Hadoop
Я столкнулся со странной проблемой с моей настройкой Hadoop для машины с одним узлом, где пользователи, отличные от root, не могут выполнять hadoop.
По сути, я следовал инструкциям Cloudera, чтобы установить CDH5 на Ubuntu, используя режим одного...
1669 просмотров
schedule
09.09.2022
Когда начинается перемешивание в Hadoop
У меня вопрос о том, когда начинается перетасовка.
Допустим, у меня есть 2 маппера и 1 редьюсер. Каждый картограф будет генерировать выходную карту map1 и map2. Эта карта1 и карта2 хранятся на временном диске соответствующего узла данных....
710 просмотров
schedule
18.02.2024
перезапустить кластер CDH5 на EC2, сохраненный как AMI
Я установил простой двухузловой кластер с помощью установщика cloudera manager (cdh 5.3). Кажется, все работает нормально.
Затем я сохранил каждый узел как AMI.
Затем я снова запустил экземпляр каждого образа, убедившись, что сетевая карта...
164 просмотров
schedule
11.06.2022
Spark: как запустить Spark File из Spark Shell
Я использую CDH 5.2. Я могу использовать spark-shell для выполнения команд.
Как запустить файл (file.spark), содержащий искровые команды.
Есть ли способ запускать / компилировать программы scala в CDH 5.2 без sbt?
заранее спасибо
114368 просмотров
schedule
15.10.2022
Не удается получить доступ к HDFS через Java API (Cloudera-CDH4.4.0)
Я пытаюсь получить доступ к своей HDFS с помощью кода Java, но не могу заставить его работать... после 2 дней борьбы я думаю, что пришло время обратиться за помощью.
Это мой код:
Configuration conf = new Configuration();...
5732 просмотров
schedule
24.02.2024
как я могу установить многоузловой кластер Hadoop на своем ноутбуке?
Я использую CHD3 на Centos 5.6 в виртуальной машине vmware и сталкиваюсь с множеством проблем при настройке многоузлового кластера. Может ли кто-нибудь предоставить полные шаги для настройки многоузлового кластера??
1028 просмотров
schedule
04.08.2022
Ошибка команды запуска узла имени Hadoop hdfs. Тоже не форматировал?
Как и в случае с состояниями, когда я запускаю команду sudo service hadoop-hdfs-namenode start , команда не удалась с сообщением ниже.
2015-02-01 16:51:22,032 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: registered UNIX signal handlers...
2465 просмотров
schedule
05.07.2022
Как убить задание mapred, запущенное ульем?
Я сейчас работаю с CDH 5.1. Он запускает обычное задание Hadoop YARN , но hive все еще работает с mapred . Иногда большой запрос долго висит и хочется его убить.
Я могу найти эту большую работу с помощью веб-консоли JobTracker, хотя в ней нет...
28649 просмотров
schedule
09.06.2023
Конфигурация куста CDH4
Я столкнулся с ошибкой отказа в доступе при создании таблицы HIVE. Ниже подробное описание того, что я сделал.
У меня есть кластер из 2 узлов, работающий на Ubuntu12.04. Я установил CDH4.7.0, и они работают. Я установил HIVE, введя команду ниже....
252 просмотров
schedule
11.05.2023
Cloudera cdh5.1.3 добавляет SPARK 0.9 с помощью сервисного мастера. Ошибка SCALA_HOME не установлена
Я получаю следующую ошибку при добавлении Spark в CDH для конфигурации главного и рабочего узла. Я выполнил инструкции по этой ссылке: https://docs.sigmoidanalytics.com/index.php/Installing_Spark_and_Setting_Up_Your_Cluster
Чтобы установить...
449 просмотров
schedule
12.08.2022
В доступе отказано: u'/opt/cloudera/parcel-cache/CDH-5.3.3-1.cdh5.3.3.p0.5-precise.parcel.part'
Я пытаюсь установить кластер hadoop cloudera с 3 узлами, все это машины с Ubuntu 12.04. Для этого я сделал следующие вещи. Я создал hduser на всей машине и даю ему права root с помощью следующей команды.
sudo addgroup hadoop
sudo adduser...
752 просмотров
schedule
15.11.2022
