Ошибка подключения к хранилищу DataLake (ADLS Gen2) из ​​блоков данных

Я пытаюсь подключиться к хранилищу dataLake Gen2 из databricks python, к сожалению, у меня возникла ошибка.

Код:

dbutils.fs.ls("abfss://<fsystem name>@<storage name>.dfs.core.windows.net/<folder name>")

Сообщение об ошибке:

Свойство конфигурации .dfs.core.windows.net не найдено.

Я сомневаюсь, что это как-то связано с моим кодом монтирования? Кроме того, я добавил Tenant ID в контейнер для «управления доступом» с помощью проводника хранилища.

вот мой код монтирования:

configs = {"fs.azure.account.auth.type": "OAuth",
       "fs.azure.account.oauth.provider.type": "org.apache.hadoop.fs.azurebfs.oauth2.ClientCredsTokenProvider",
       "fs.azure.account.oauth2.client.id": "<client ID>",
       "fs.azure.account.oauth2.client.secret":  "secret",
       "fs.azure.account.oauth2.client.endpoint": "https://login.microsoftonline.com/directory id/oauth2/token"}
dbutils.fs.mount(  source = "abfss://filesystem name@<storage name>.dfs.core.windows.net/",  mount_point = /mnt/soldel",  extra_configs = configs)

Код монтирования работал нормально, без ошибок. Пожалуйста, предложите


azure-data-lake azure-databricks
person Idleguys    schedule 03.10.2019    source источник

Ответы (1)


arrow_upward
2
arrow_downward

Примечание. Вы не можете получить доступ к учетной записи Azure Data Lake Gen2, не настроив учетную запись хранения с помощью Databricks.

Это ожидаемое сообщение об ошибке, потому что вы не настроили учетную запись хранения с блоками данных для отображения файловой системы.

Пожалуйста, ознакомьтесь с сообщением об ошибке и посмотрите, как правильно работает файловая система списка в Databricks. введите здесь описание изображения

Дополнительные сведения см. В разделе "Databricks - хранилище озера данных Azure Gen2 ".

Надеюсь это поможет.

person CHEEKATLAPRADEEP-MSFT    schedule 04.10.2019