Pentaho-kettle: необходимо динамически создавать задания ETL на основе пользовательского ввода.

В моем приложении пользователь может указать формат своего файла. На основе пользовательского ввода мы динамически создаем пакет SSIS.

http://lakshmik.blogspot.com/2005/05...eate-ssis.html

Динамически созданный пакет SSIS используется для обработки пользовательских файлов.

Мы хотим оценить Pentaho-Kettle для этого требования. Возможно ли, чтобы Kettle динамически создавал задания ETL на основе пользовательского ввода?

Если не Pentaho, есть ли какой-либо инструмент Java ETL, который позволяет использовать для динамического создания заданий ETL?


person Arnav    schedule 07.07.2011    source источник


Ответы (2)


Не знаю, как у других, но в Kettle это традиционно довольно сложно, но люди делали это по-разному.

Лучшим вариантом для этого является (совершенно новый) шаг внедрения, который позволяет вам делать действительно умные вещи с метаданными, но он работает только для некоторых основных шагов. Я думаю, что он будет делать то, что вы хотите, читайте об этом в блоге Мэтта Кастерса (создатель и бог PDI) здесь:

http://www.ibridge.be/?s=inject&submit=Go

Если это не работает; тогда ваши другие варианты - пойти по маршруту общего имени поля (неприятно) или динамически генерировать преобразование. Это проще, чем кажется, но вам нужно гораздо больше заниматься Java, чем обычно для инструмента ETL.

person Codek    schedule 08.07.2011

Можно, и не очень сложно.

Вы можете использовать Kettle API для динамического создания преобразований, которые могут делать все, что делает Kettle. Дизайнер графического интерфейса использует API для создания преобразований, поэтому все, что вы можете делать с графическим интерфейсом, вы можете делать через API.

Если вы посмотрите в исходное дерево «теста», вы найдете множество примеров того, как динамически создавать преобразования.

person James Dixon    schedule 10.07.2011