Извините, что омрачил ваш день своими проблемами, но SSIS сломала меня! Я новичок в SSIS, и я просто неправильно его понимаю.
Для справки: у меня есть несколько версий базового пакета, включающего контейнер цикла по каждому элементу и поток данных с несколькими производными столбцами, который импортирует файлы CSV в промежуточную таблицу SQL Server. Это очень просто и включает в себя задачу «Выполнение SQL» и «Перемещение файла», но они работают нормально. Проблемы связаны с циклом Foreach и потоком данных.
У меня есть одна версия этого пакета (назовем ее «А»), которая работает нормально. Он будет обрабатывать несколько файлов в папке, вставлять записи в промежуточную таблицу, правильно выполнять операторы SQL и перемещать файлы в архив. Все казалось прекрасным, пока я тщательно не проверил процесс. Оказывается, он дублировал данные из одного файла и никогда не импортировал данные из второго исходного файла! Тем не менее, второй раунд данных включал имя исходного файла (через производный столбец) второго файла (но данные из первого). Таким образом, казалось, что я успешно обработал ОБА файла, пока не посмотрел на фактические данные и не увидел, что ни одно из значений из второго исходного файла никогда не было записано в промежуточную таблицу.
Как только я обнаружил это, я понял, что проблема была в цикле Foreach и в том, как я устанавливаю различные переменные пути и имени файла. Итак, я решил попробовать сделать новую версию пакета. Я начал с копирования пакета A и создал пакет B. В B я удалил диспетчер исходных соединений и создал новый диспетчер соединений вместе со всеми новыми переменными файла и пути. Затем я попытался очистить/исправить/заменить различные элементы в цикле Data Flow и Foreach. В процессе я обнаружил, что расширенные сопоставления из A, которые работают с DID, практически все настроены как строки (даже столбцы «Валюта» и «Дата»). Это казалось неправильным, поэтому я изменил каждый столбец исходных денег, изменив тип данных на «Валюта», и изменил каждый столбец, связанный с датой, на тип данных «Дата».
За этим последовали десятки и десятки ошибок, и я не могу запустить пакет B. Я даже изменил все типы данных B обратно на String (отражая настройку в пакете A, который DID работает). Но радости все равно нет.
Это заставляет меня задать несколько вопросов тем из вас, кто умнее меня:
1) Почему службы SSIS не могут интерпретировать исходные данные CSV, используя правильный тип данных? т.е. почему мне нужно установить каждый столбец ввода как STRING, когда некоторые столбцы явно и полностью числовые, валютные или даты? (Да, исходные CSV-файлы ОЧЕНЬ чистые — в большинстве из них даже нет NULL)
а. Когда я изменяю расширенное сопоставление для столбца источника, связанного с датой, на дату, я получаю всегда присутствующее сообщение об ошибке: [Источник плоского файла [30]] Ошибка: преобразование данных не удалось. Преобразование данных для столбца «Дата расчета» вернуло значение состояния 2 и текст состояния «Не удалось преобразовать значение из-за возможной потери данных».
2) Когда я сбрасываю типы данных обратно на String в пакете B, я все еще получаю ошибки — обычно ошибки усечения (и да — я скорректировал длину до 250 в одном из этих столбцов). а. Сообщение об ошибке: «Не удалось преобразовать значение из-за возможной потери данных». б. Когда я сбрасываю сопоставления, чтобы игнорировать столбец (в качестве теста), он выдает аналогичную ошибку в следующем столбце.
3) Есть идеи, почему пакет А может дублировать данные файла и не обрабатывать второй файл, но при этом не выдавать ошибок и перемещать оба файла в архив?
4) Почему в средстве просмотра данных появляются ошибки синтаксического анализа (оно показывает данные в неправильных столбцах), но когда вы используете функцию копирования данных в средстве просмотра данных и вставляете их в Excel, все данные идеально совпадают?
5) Существуют ли какие-либо советы и рекомендации, которые должен понять начинающий пользователь SSIS и которые могут быть не очевидны в документации и при поиске статей в Интернете, а также на этом сайте?
Я могу предоставить дополнительные сведения, если они помогут, но эти пакеты действительно очень просты и не должны вызывать у меня такого большого разочарования.
СПАСИБО за любую информацию.
ДГП
