Как загрузить данные с сервера oracle и sql в HAWQ с помощью Spring XD

Вам необходимо интегрировать задания sqoop с Spring XD. См. ссылку ниже для заданий sqoop с springxd.

https://github.com/tzolov/spring-xd-sqoop-job

Вы можете использовать задание jdbchdfs для загрузки данных в HDFS в виде CSV или любого поддерживаемого формата PXF. Затем вы можете сопоставить загруженные данные с таблицами HAWQ, используя поддержку внешних таблиц PXF. Если вам нужно загрузить эти данные в собственные таблицы HAWQ, вы можете выполнить SELECT INSERT оттуда или настроить SELECT INSERT как другое пакетное задание, которое загружает данные из внешней таблицы PXF в собственную HAWQ.

Outsourcer — еще одно решение с открытым исходным кодом, которое изначально было разработано для загрузки данных из Oracle и SQL Server в Greenplum, но некоторое время назад было усовершенствовано для поддержки HAWQ.

Вся документация и загрузки находятся на http://www.pivotalguru.com/.

А если вам интересно посмотреть исходный код, вот он: https://github.com/pivotalguru/outsourcer< /а>