Вопросы по теме 'sqoop2'

ошибка при запуске сервера sqoop2 на Amazon EMR с пряжей
Я пытаюсь установить sqoop 2 (версия 1.99.3) в кластере Amazon EMR (AMI версии 3.2.0 / Hadoop версии 2.4.0). Когда я запускаю сервер sqoop, я вижу эту ошибку в localhost.log: Sep 10, 2014 4:55:56 PM org.apache.catalina.core.StandardContext...
615 просмотров
schedule 26.09.2023

Экспорт Sqoop с использованием ключа обновления
Мне нужно экспортировать файл HDFS в MySql. Допустим, мой файл HDFS: 1,abcd,23 2,efgh,24 3,ijkl,25 4,mnop,26 5,qrst,27 и скажите, что моя схема базы данных Mysql: +-----+-----+-------------+ | ID | AGE | NAME |...
12089 просмотров
schedule 07.10.2022

Как я могу указать столбцы экспорта sqoop в целевой БД?
Я хотел бы заполнить таблицу postgres из файла avro с помощью экспорта sqoop (2), но у меня нет поля id в источнике, и оно должно заполняться автоматически (серийный тип), но я получаю сообщение об ошибке. таблица DDL: CREATE TABLE test ( id...
414 просмотров
schedule 19.04.2023

могут работать hadoop и Sqoop отдельно на разных машинах
Я установил sqoop 1.4.6 на новом узле, а hadoop работает на другом узле. Могу ли я указать своему серверу sqoop использовать существующую среду Hadoop? Я знаю, что есть какой-то аргумент "--hadoop-mapred-home" для установки пути к хаупу, но он...
306 просмотров
schedule 18.08.2022

Исключение: задание не выполнено со статусом: 3 при копировании данных из Oracle в HDFS через sqoop2.
Я пытаюсь использовать Sqoop2 для копирования данных с сервера Oracle 11g2 в HDFS. Ссылка на Oracle похоже работает, так как она будет жаловаться, если я использую неверные учетные данные. Определение выглядит следующим образом: link...
751 просмотров
schedule 26.07.2023

Экспорт Sqoop из Hive в Netezza, если столбец имеет массив значений
Я пытался запустить экспорт sqoop, чтобы загрузить строки таблицы Hive в таблицу Netezza. Проблема в том, что у меня есть несколько столбцов, содержащих массив значений, и я создал DDL в Netezza для этих столбцов с типом данных varchar (200) и...
958 просмотров
schedule 06.08.2022

передача свойств mysql через sqoop eval
команда sqoop eval: sqoop eval --connect 'jdbc:mysql://<connection url>' --driver com.mysql.jdbc.Driver --query "select max(rdate) from test.sqoop_test" дает мне вывод: Предупреждение: /usr/hdp/2.3.2.0-2950/accumulo не...
474 просмотров
schedule 10.06.2022

Количество картографов в sqoop
Я знаю, что у sqoop есть опция, в которой мы можем установить количество картографов (по умолчанию 4). В проектах реального времени кто решает и как определяется отсутствие картографов? Используем ли мы значение по умолчанию или любое произвольное...
1213 просмотров
schedule 17.12.2022

Sqoop: Exception ERROR tool.ImportTool: Ошибка импорта: java.net.UnknownHostException: хост: хост: неизвестная ошибка при импорте
Я пытаюсь импортировать данные из MYSQL в Hadoop, но получаю исключение ниже. Может кто-нибудь, пожалуйста, помогите мне. пожалуйста, найдите трассировку стека ниже: Команда: sqoop import --connect jdbc:mysql://localhost/sqoopdb --username...
1036 просмотров
schedule 02.12.2022

Как получить ошибочные данные в Sqoop при импорте?
У меня есть импорт 10 записей из СУБД в Hadoop через Sqoop, задание завершается ошибкой при загрузке 7-й записи, как я могу получить последние три записи в одиночку в следующий раз. Может ли кто-нибудь помочь мне с синтаксисом?
598 просмотров
schedule 05.02.2023

Проблема с командой sqoop import с ключом раздела
Я пытаюсь импортировать данные в таблицу кустов с помощью команды sqoop. Таблица куста разделена по дате2, а дата имеет формат «06.09.2017 00:00:00». Возникает ошибка, когда я использую команду sqoop для импорта данных с использованием столбца даты....
314 просмотров
schedule 23.05.2023

Количество картографов: Mapreduce против Sqoop
Количество картографов не может быть определено в программе mapreduce, так как общее количество картографов будет выбрано на основе входного разделения или размера. Но почему у нас есть возможность установить num-mappers на sqoop? Когда программа...
56 просмотров
schedule 14.04.2024