Вопросы по теме 'sqoop2'
ошибка при запуске сервера sqoop2 на Amazon EMR с пряжей
Я пытаюсь установить sqoop 2 (версия 1.99.3) в кластере Amazon EMR (AMI версии 3.2.0 / Hadoop версии 2.4.0). Когда я запускаю сервер sqoop, я вижу эту ошибку в localhost.log:
Sep 10, 2014 4:55:56 PM org.apache.catalina.core.StandardContext...
615 просмотров
schedule
26.09.2023
Экспорт Sqoop с использованием ключа обновления
Мне нужно экспортировать файл HDFS в MySql. Допустим, мой файл HDFS:
1,abcd,23
2,efgh,24
3,ijkl,25
4,mnop,26
5,qrst,27
и скажите, что моя схема базы данных Mysql:
+-----+-----+-------------+
| ID | AGE | NAME |...
12089 просмотров
schedule
07.10.2022
Как я могу указать столбцы экспорта sqoop в целевой БД?
Я хотел бы заполнить таблицу postgres из файла avro с помощью экспорта sqoop (2), но у меня нет поля id в источнике, и оно должно заполняться автоматически (серийный тип), но я получаю сообщение об ошибке.
таблица DDL:
CREATE TABLE test
(
id...
414 просмотров
schedule
19.04.2023
могут работать hadoop и Sqoop отдельно на разных машинах
Я установил sqoop 1.4.6 на новом узле, а hadoop работает на другом узле. Могу ли я указать своему серверу sqoop использовать существующую среду Hadoop?
Я знаю, что есть какой-то аргумент "--hadoop-mapred-home" для установки пути к хаупу, но он...
306 просмотров
schedule
18.08.2022
Исключение: задание не выполнено со статусом: 3 при копировании данных из Oracle в HDFS через sqoop2.
Я пытаюсь использовать Sqoop2 для копирования данных с сервера Oracle 11g2 в HDFS.
Ссылка на Oracle похоже работает, так как она будет жаловаться, если я использую неверные учетные данные. Определение выглядит следующим образом:
link...
751 просмотров
schedule
26.07.2023
Экспорт Sqoop из Hive в Netezza, если столбец имеет массив значений
Я пытался запустить экспорт sqoop, чтобы загрузить строки таблицы Hive в таблицу Netezza. Проблема в том, что у меня есть несколько столбцов, содержащих массив значений, и я создал DDL в Netezza для этих столбцов с типом данных varchar (200) и...
958 просмотров
schedule
06.08.2022
передача свойств mysql через sqoop eval
команда sqoop eval:
sqoop eval --connect 'jdbc:mysql://<connection url>' --driver com.mysql.jdbc.Driver --query "select max(rdate) from test.sqoop_test"
дает мне вывод:
Предупреждение: /usr/hdp/2.3.2.0-2950/accumulo не...
474 просмотров
schedule
10.06.2022
Количество картографов в sqoop
Я знаю, что у sqoop есть опция, в которой мы можем установить количество картографов (по умолчанию 4). В проектах реального времени кто решает и как определяется отсутствие картографов? Используем ли мы значение по умолчанию или любое произвольное...
1213 просмотров
schedule
17.12.2022
Sqoop: Exception ERROR tool.ImportTool: Ошибка импорта: java.net.UnknownHostException: хост: хост: неизвестная ошибка при импорте
Я пытаюсь импортировать данные из MYSQL в Hadoop, но получаю исключение ниже. Может кто-нибудь, пожалуйста, помогите мне. пожалуйста, найдите трассировку стека ниже:
Команда:
sqoop import --connect jdbc:mysql://localhost/sqoopdb --username...
1036 просмотров
schedule
02.12.2022
Как получить ошибочные данные в Sqoop при импорте?
У меня есть импорт 10 записей из СУБД в Hadoop через Sqoop, задание завершается ошибкой при загрузке 7-й записи, как я могу получить последние три записи в одиночку в следующий раз. Может ли кто-нибудь помочь мне с синтаксисом?
598 просмотров
schedule
05.02.2023
Проблема с командой sqoop import с ключом раздела
Я пытаюсь импортировать данные в таблицу кустов с помощью команды sqoop. Таблица куста разделена по дате2, а дата имеет формат «06.09.2017 00:00:00». Возникает ошибка, когда я использую команду sqoop для импорта данных с использованием столбца даты....
314 просмотров
schedule
23.05.2023
Количество картографов: Mapreduce против Sqoop
Количество картографов не может быть определено в программе mapreduce, так как общее количество картографов будет выбрано на основе входного разделения или размера. Но почему у нас есть возможность установить num-mappers на sqoop? Когда программа...
56 просмотров
schedule
14.04.2024