Проблема с командой sqoop import с ключом раздела

Я пытаюсь импортировать данные в таблицу кустов с помощью команды sqoop. Таблица куста разделена по дате2, а дата имеет формат «06.09.2017 00:00:00». Возникает ошибка, когда я использую команду sqoop для импорта данных с использованием столбца даты.

Таблица Teradata: столбец1, дата2, столбец3 06.01.2017 00:00:00, qwe 20.09.2017 00:00:00, wer

Команда Sqoop:

sqoop import \
--connect jdbc:teradata://<server>/database=<db_name> \
--connection-manager org.apache.sqoop.teradata.TeradataConnManager \
--username un \
--password 'pwd' \
--table <tbl_name> \
--where "cast(date2 as Date) > date '2017-09-07' and cast(date2 as Date) < date '2017-09-20'" \
--hive-import --hive-table <db_name>.<tbl_name> \
--hive-partition-key date2 \
-m1

Ошибка

ОШИБКА teradata.TeradataSqoopImportHelper: Исключение при выполнении задания импорта Teradata java.lang.IllegalArgumentException: Wrong FS: /usr/tarun/date2=1900-01-01 00%3A00%3A00


hive sqoop sqoop2
person Vishnu    schedule 21.12.2018    source источник
comment
Я создал внешнюю таблицу в разделе создания улья со столбцом date2.   -  person Vishnu    schedule 21.12.2018

Ответы (1)


arrow_upward
0
arrow_downward

Когда я попытался перевести вашу команду в многострочный, похоже, вы пропустили один символ \, и поэтому он выглядит жалующимся. --hive-import не заканчивается на "\". Имя таблицы куста также отсутствует в команде

sqoop import \
--connect jdbc:teradata:///database= \ 
--connection-manager org.apache.sqoop.teradata.TeradataConnManager \
--username un \
--password 'pwd' \
--table \
--where "cast(date2 as Date) > date '2017-09-07' and cast(date2 as Date) < date '2017-09-20'" \
--hive-import \
--hive-table tarun121 \
--hive-partition-key date2 \
-m1

альтернативой этому является попытка создать команду create-hive-table

sqoop create-hive-table \
--connect jdbc:teradata:://localhost:port/schema \
--table hive_tble_name \ 
--fields-terminated-by ',';

дайте мне знать, если это решит проблему.

person Data Engineering Simplified    schedule 21.12.2018
comment
Привет, Рой. Мне удалось успешно запустить код без ключа раздела. Но ошибка связана с ключом раздела date2 . Вот и показывает ошибку. - person Vishnu; 21.12.2018