Проверка данных SSIS

У меня есть файл json, который содержит около 125 столбцов, и мне нужно загрузить его в таблицу БД. Я использую пакет SSIS, и после сброса всего содержимого файла JSON в таблицу DUMP БД мне нужно проверить данные и загрузить только данные, которые действительны для таблицы MASTER, а остальные отправляются в таблицу сбоев. Таблица сбоев имеет 250 столбцов с ОШИБКОЙ для каждого столбца. Если первый столбец не прошел проверку, мне нужно написать сообщение об ошибке в соответствующий столбец ошибки. и продолжите проверку второго столбца... Есть ли в службах SSIS какая-то утилита, которая помогает выполнить требование.

Я пытался использовать условное разделение, но похоже, что оно не отвечает всем требованиям. Спасибо, Виджей.


json ssis sql-server-2008 msbi
person VJAI    schedule 13.04.2015    source источник
comment
Я бы справился с этим с помощью хранимой процедуры, которую вы вызываете из задачи «Выполнение SQL».   -  person Tab Alleman    schedule 13.04.2015

Ответы (1)


arrow_upward
1
arrow_downward

Я согласен с предложением Аллемана сделать это с помощью хранимой процедуры. С точки зрения реализации существуют различные способы, с которыми вы можете пойти. Я перечисляю один способ здесь

В базе данных вы можете создать около 10 хранимых процедур следующим образом.

  • dbo.usp_ValidateData_Columns1_To_Columns25
  • dbo.usp_ValidateData_Columns26_To_Columns50
  • ....
  • ....
  • dbo.usp_ValidateData_Columns226_To_Columns250

В каждой из этих процедур вы можете выполнить массовую проверку данных по столбцам. Если проверка не пройдена, вы можете вставить в соответствующие столбцы ошибок.

После того, как вы это сделаете, вы сможете вызывать все вышеперечисленные процедуры параллельно как часть вашего пакета SSIS.

Сообщите, что вам понадобится еще один DFT, чтобы выбрать все те записи, которые подходят для передачи в MASTER.

По сути, вы модулируете всю установку.

person VKarthik    schedule 15.04.2015