Можно ли использовать элемент управления M для организации заданий фабрики данных Azure?

Все компоненты Control-M можно установить и использовать в Azure (и в большинстве других облачных инфраструктур). Либо используйте ссылку, которую вы цитируете, либо альтернативно развертывайте агенты с помощью Control-M Automation API (AAPI) или их комбинации.

Пока вы используете довольно новую версию Control-M, вы можете выполнять большинство оперативных задач, например, вы можете отслеживать работу следующим образом:

ctm запускает задания: статус:: получить -s "jobid = controlm: 00001"

API Control-M быстро развивается, ознакомьтесь с документацией по ссылке здесь -

https://docs.bmc.com/docs/automation-api/9019100monthly/services-872868740.html#Control-MAutomationAPI-Services-ctmrunjob:status::get

Также см -

https://github.com/controlm/automation-api-quickstart http://controlm.github.io https://docs.bmc.com/docs/display/public/workloadautomation/Control-M+Automation+API+-+Services https://52.32.170.215:8443/automation-api/swagger-ui.html

В настоящее время я не думаю, что вы найдете готовые соединители для интеграции Control-M с фабрикой данных Azure. Но у вас есть другие варианты!

Прокси ADF самостоятельно

Вы можете написать связующий код для этого, по сути, являясь посредником между ними.

1. Напишите программу, которая будет вызывать REST API ADF для запуска конвейера. Подробности здесь

2. После запуска конвейера напишите код для мониторинга состояния. Подробности здесь

3. Попросите Control-M вызвать ваш код через агента, который имеет к нему доступ.

   • I've done this with a C# console app running on a local server, and a Control-M Agent that invokes the glue code.
   • Control- Документация M здесь также позволяет вам выполнять функцию Azure непосредственно из Control-M. Это означает, что вы можете поместить свой код в функцию Azure. Подробности здесь'

АЛЬТЕРНАТИВНЫЙ МЕТОД

Чтобы не использовать код, воспользуйтесь этим соединителем приложений логики. Напишите приложение логики для запуска конвейера и запустить конвейер для отслеживать статус в цикле.

Затем Control-M должен иметь возможность использовать подключаемый модуль для вызова приложения логики.

Примечания

**Обратите внимание, что для Control-M требуется Триггер HTTP для функций Azure и приложений логики. ** Вы также можете воспользоваться преимуществами плагин Control-M Web Services. Хотя, по моему опыту, меня не впечатлило отсутствие поддержки разных методов аутентификации.

Надеюсь, это поможет!

Я только что наткнулся на этот пост, поэтому немного опоздал на вечеринку.

Control-M включает в себя Application Integrator, который позволяет вам использовать интеграции, созданные другими, и либо улучшать их, либо создавать свои собственные. Вы можете использовать REST или cli, чтобы указать Control-M, какие запросы должны генерироваться к приложению при запуске задания, во время выполнения и мониторинга, а также как анализировать результаты и собирать выходные данные.

Общедоступный репозиторий, доступный из Application Integrator, показывает существующие задания и один для фабрики данных. Я немного расширил его, чтобы фабрика данных запускалась и контролировалась до завершения через REST, но затем вызывается сценарий Powershell для получения информации о запуске конвейера для каждого действия в конвейере.

Я разместил это задание и сценарий в https://github.com/JoeGoldberg/automation-api-community-solutions/tree/master/4-ai-job-type-examples/CTM4AzureDataFactory, но README появится позже.