Отказоустойчивость и регистрация несовместимых строк в хранилище BLOB-объектов Azure.

Требования заказчика:

  1. использование фабрики данных Azure для импорта CSV-файла из хранилища BLOB-объектов в хранилище данных SQL.

  2. используя стратегию "Отказоустойчивость и регистрация несовместимых строк в хранилище BLOB-объектов Azure" в ADF.

  3. И использование функции Azure для архивирования обработанного файла в другое место в хранилище BLOB-объектов: одно место для этих файлов успешно импортировано, а другое — для файлов с ошибками (файлы имеют несовместимые данные — неправильный формат, неправильная длина).

=> Поэтому мне нужно получить значение skippedRowCount в окне действий, чтобы узнать об этом действии, в котором есть несовместимые строки? Есть ли способы получить эти способы или какое-либо решение для решения моей проблемы? Большое спасибо.


azure-functions azure-data-factory azure-sdk
person phương hà    schedule 04.01.2018    source источник
comment
Это дубликат вопроса здесь. Пожалуйста, закройте это. Если вы хотите использовать это как основное, закройте другое.   -  person Pragna Gopa    schedule 04.01.2018

Ответы (1)


arrow_upward
0
arrow_downward

В ADF V2 количество пропущенных строк возвращается как свойство rowsSkipped выходных данных действия копирования. См. эти две ссылки: https://docs.microsoft.com/en-us/azure/data-factory/copy-activity-overview#monitoring и https://docs.microsoft.com/en-us/azure/data-factory/copy-activity-fault-tolerance#monitor-skiped-rows

ADF V2 также позволяет использовать выходные данные предыдущего действия копирования в последующем действии, используя выражение типа «@activity('MyCopyActivity').output.rowsSkipped")». Вот пример использования выходной формы Lookup. деятельности, и вы можете адаптироваться к вашей конкретной ситуации.

В вашем случае вы можете связать действие копирования с двумя веб-действиями, одно для вызова файлового архива для успешных файлов, а другое для записи/повторной обработки ошибочных строк, зарегистрированных в большом двоичном объекте хранилища или ADLS.

person ShirleyWang-MSFT    schedule 18.01.2018