Вопросы по теме 'hadoop2'
загрузка 1 ГБ данных в hbase занимает 1 час
Я хочу загрузить CSV-файл размером 1 ГБ (10 миллионов записей) в Hbase. Я написал для него программу Map-Reduce. Мой код работает нормально, но на выполнение требуется 1 час. Последний редуктор занимает более получаса. Может ли кто-нибудь помочь...
2830 просмотров
schedule
04.04.2022
свинья на латыни - не показывает правильные номера записей
Я написал pig script для wordcount , который отлично работает. Я мог видеть результаты сценария свиньи в моем выходном каталоге в hdfs. Но ближе к концу моей консоли я вижу следующее:
Success!
Job Stats (time in seconds):
JobId Maps...
782 просмотров
schedule
02.01.2023
Проблема при установке hadoop-2.2.0 на 64-битной Linux-машине
Используя эту ссылку, попытался установить версию Hadoop - 2.2.0 (кластер с одним узлом) в Ubuntu 12.04 (64-разрядная машина)
http://bigdatahandler.com/hadoop-hdfs/installing-single-node-hadoop-2-2-0-on-ubuntu/
при форматировании файловой...
182 просмотров
schedule
27.02.2023
Как установить точное максимальное количество одновременно запущенных задач на узел в Hadoop 2.4.0 на Elastic MapReduce
Согласно http://blog.cloudera.com/blog/2014/04/apache-hadoop-yarn-avoiding-6-time-using-gotchas/ формула для определения количества одновременно выполняющихся задач на узел:
min (yarn.nodemanager.resource.memory-mb /...
2301 просмотров
schedule
26.08.2022
Ошибка Hadoop — прерывание работы всех узлов данных
Я использую версию Hadoop 2.3.0. Иногда, когда я выполняю задание по уменьшению карты, отображаются следующие ошибки.
14/08/10 12:14:59 INFO mapreduce.Job: Task Id : attempt_1407694955806_0002_m_000780_0, Status : FAILED
Error:...
13445 просмотров
schedule
24.12.2022
Как решить, что chainmapper неприменим для ошибки аргументов при выполнении цепочки заданий в Mapreduce?
Я использую Hadoop 1.2.1, eclipse juno. Я пытаюсь связать три задачи карты в одном задании Mapreduce. при написании кода Mapreduce в eclipse я получаю сообщение об ошибке, например, chainmapper неприменим для аргументов, а также я не могу установить...
757 просмотров
schedule
16.08.2022
Разделение ввода для функции Map в Hadoop
Это моя первая реализация в Hadoop. Я пытаюсь реализовать свой алгоритм вероятностного набора данных в Map Reduce. В моем наборе данных последний столбец будет иметь некоторый идентификатор (количество уникальных идентификаторов в наборе данных...
1339 просмотров
schedule
23.07.2022
ошибка при запуске сервера sqoop2 на Amazon EMR с пряжей
Я пытаюсь установить sqoop 2 (версия 1.99.3) в кластере Amazon EMR (AMI версии 3.2.0 / Hadoop версии 2.4.0). Когда я запускаю сервер sqoop, я вижу эту ошибку в localhost.log:
Sep 10, 2014 4:55:56 PM org.apache.catalina.core.StandardContext...
615 просмотров
schedule
26.09.2023
Нужно вручную создать dfs.domain.socket.path в Hadoop-2.0.0, чтобы использовать Impala?
Я следую инструкциям по настройке кластера hadoop-2.0.0 для установки Impala. В hdfs-site.xml я добавляю два свойства «dfs.client.read.shortcircuit» и «dfs.domain.socket.path» (/var/lib/hadoop-hdfs/dn_socket).
Но когда я запускаю кластер Hadoop с...
1931 просмотров
schedule
04.09.2022
Процессы, работающие на всех узлах, кроме узлов данных, не подключенных к namenode.
У меня есть кластер из 4 узлов, 1 главный и 3 подчиненных устройства на CentOs и HADOOP 2.5.0.
Все конфиги и ssh тоже хороши :).
Но когда я запускаю start-dfs.sh в мастере namenod , а в подчиненных datanode задания выполняются, но в web...
55 просмотров
schedule
24.02.2023
в таблице восстановления hive 0.13 msck перечислены только разделы, которых нет в хранилище метаданных
Я пытаюсь использовать команду Hive (0.13) msck repair table для восстановления разделов, и в ней перечислены только разделы, не добавленные в хранилище метаданных, вместо того, чтобы добавлять их в хранилище метаданных.
вот вывод команды...
23323 просмотров
schedule
10.08.2022
Сортировка по Pig Latin
Я тестирую следующий пример из документов Apache Pig:
http://pig.apache.org/docs/r0.14.0/basic.html#order-by
но функция сортировки, похоже, не работает. Есть идеи?
$ pig -version
Apache Pig version 0.14.0 (r1640057)
compiled Nov 16 2014,...
141 просмотров
schedule
29.10.2022
Данные Hive, HDFS в локальную систему и обратно
Я новичок в администрировании Hadoop :)
У меня есть кластер Apache Hadoop 2.4.1 из 8 узлов, используется DFS 16 ТБ (не удалось найти фактор репликации ни в одном из файлов xml), Hive 0.13 с хранилищем метаданных MySQL.
Цель : сделать резервную...
862 просмотров
schedule
28.08.2022
Ошибка выполнения Hive при обработке строки в Hive
У меня проблема при запросе к таблице форматов файлов ORC
Я пытался выполнить запрос ниже:
INSERT INTO TABLE <db_name>.<table_name> SELECT FROM <db_name>.<table_name> WHERE CONDITIONS;
что приводит к:
TaskAttempt 2...
22309 просмотров
schedule
01.07.2022
Задание Hadoop MapReduce зависает
Я пытаюсь смоделировать среду Hadoop, используя последнюю версию Hadoop 2.6.0, Java SDK 1.70 на моем рабочем столе Ubuntu. Я настроил hadoop с необходимыми параметрами среды, и все его процессы запущены и работают, и их можно увидеть с помощью...
1992 просмотров
schedule
06.01.2023
Команда оболочки для передачи файлов из HDFS в локальную файловую систему в Hadoop 2.6.9
Я новичок в Hadoop. Есть ли команда bash для переноса файлов из распределенной файловой системы Hadoop в стандартную файловую систему на узле Hadoop.
Я использую Hadoop 2.6.0
Я видел еще один похожий вопрос, в котором спрашивалось, как...
2266 просмотров
schedule
10.06.2023
Использование моментального снимка таблицы HBase в рабочем процессе Oozie
Я пытаюсь запустить задание MapReduce на oozie, которое использует снимок таблицы HBase в качестве входных данных. В настоящее время я могу это сделать (не используя рабочий процесс oozie), используя...
329 просмотров
schedule
04.01.2024
Команда hdfs устарела в Hadoop
Я следую этой процедуре ( ссылка на YouTube ).
При выполнении команды c :/hadoop-2.3.0/bin/hadoop namenode -format я получил сообщение об ошибке, приведенное ниже
**DEPRECATED:Use of this script to execute hdfs command is deprecated.
Instead...
6729 просмотров
schedule
09.10.2022
Добавление поддержки Zip-файлов в Hadoop
Hadoop по умолчанию поддерживает чтение сжатых файлов .gz, я хочу иметь аналогичную поддержку для файлов .zip. Я должен иметь возможность читать содержимое zip-файлов с помощью команды hadoop -text.
Я ищу подход, при котором мне не нужно...
642 просмотров
schedule
09.02.2024
Hadoop 2.x на amazon ec2 t2.micro
Я пытаюсь установить и настроить Hadoop 2.6 на экземпляре Amazon EC2 t2.micro (бесплатный, только с 1 ГБ ОЗУ) в псевдораспределенном режиме. Я мог настроить и запустить все демоны (например, Namenode, Datanode, ResourceManager, NodeManager). Но...
414 просмотров
schedule
11.02.2024
