Фабрика данных Azure не может получить доступ к кластеру HDInsight в виртуальной сети с ограниченным IP-адресом

У меня есть кластер HDInsight Hadoop (Linux, развернутый отдельно) в виртуальной сети Azure (ограничение IP-адресов клиентов с помощью NSG).

Брандмауэр Azure SQL имеет параметр «Разрешить доступ к службам Azure», который позволяет фабрике данных получать доступ к SQL Azure.

В виртуальной сети такого варианта нет, нужно либо указать диапазон IP-адресов, либо установить тег (Интернет, Виртуальная сеть, AzureLoadBalancer). Я думал, что AzureLoadBalancer решит проблему, но нет - HDInsight по-прежнему скрыт от фабрики данных Azure.

Я безуспешно пытался найти диапазоны портов фабрики данных.

Есть ли способ получить доступ к защищенному кластеру HDInsight Linux из фабрики данных Azure?


azure azure-data-factory azure-virtual-network azure-hdinsight
person Valdas M    schedule 29.08.2016    source источник

Ответы (2)


arrow_upward
0
arrow_downward

ADF может получить доступ к ресурсам, которые в противном случае могут быть доступны публично. Если ваш кластер HDInsight находится в виртуальной сети, публичный доступ к нему невозможен. Таким образом, ADF не может получить доступ + организовать его.

ADF действительно хочет, чтобы его поддерживали в среде виртуальной сети, но для этого потребуется некоторое время.

Спасибо, Хариш

person Harish    schedule 01.09.2016

arrow_upward
4
arrow_downward

В фабрике данных Azure версии 2 сценарий поддерживается. Для этого требуется развертывание автономной среды выполнения интеграции (IR) Azure во виртуальной сети кластера HDInsight. Локальный IR позволяет службе фабрики данных отправлять запросы обработки в вычислительную службу, такую ​​как HDInsight, внутри виртуальной сети. См. Также следующий Документация.

person Hauke Mallow    schedule 14.05.2018