Я пытался запустить экспорт sqoop, чтобы загрузить строки таблицы Hive в таблицу Netezza. Проблема в том, что у меня есть несколько столбцов, содержащих массив значений, и я создал DDL в Netezza для этих столбцов с типом данных varchar (200) и запустить задание sqoop но я получаю сообщение об ошибке, так как количество плохих строк достигло предела. ниже моя работа Sqoop:
sqoop export --options-file --direct --connect jdbc:netezza://10.90.21.140:5480/analytics --username sat144 --P --table analytics_stage --export-dir /home/dir1/analytics/data --fields-terminated-by '~' --input-null-string '\N' --input-null-non-string '\N' -m 1 -max-errors #0
Мой Netezza DDL ниже:
CREATE TABLE analytics_stage (id varchar(30), name varchar(60), dept nvarchar(99), dept_id nvarchar(200));
Значения столбца таблицы My Hive приведены ниже.
Строка 1: 20134 (id) sat (имя) Data_Group (отдел) [121 103 201 212 310] (dept_id)
Может ли кто-нибудь помочь мне в этом? если столбец имеет отрицательные значения и массив значений в таблице Hive, то какие типы данных предлагаются в Netezza ??
Журнал ошибок Sqoop ниже
05.16.09 15:46:49 ИНФОРМАЦИЯ mapreduce.Job: карта 50% уменьшить 0% 05.16.09 15:46:55 ИНФОРМАЦИЯ mapreduce.Job: Идентификатор задачи: попытка_1460986388847_0849_m_000000_1, Статус: FAILED Ошибка: java.io. IOException: org.netezza.error.NzSQLException: ОШИБКА: внешняя таблица: количество неверных входных строк достигло предела maxerrors
at org.apache.sqoop.mapreduce.db.netezza.NetezzaExternalTableExportMapper.run(NetezzaExternalTableExportMapper.java:255)
at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:787)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341)
at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:168)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1657)
at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:162)
Вызвано: org.netezza.error.NzSQLException: ОШИБКА: внешняя таблица: количество неверных входных строк достигло предела maxerrors
