Я пытаюсь запустить искру из базы данных Azure. В настоящее время я могу создать задание с загрузкой jar-файла в рабочем пространстве Databrics и запустить его.
Мои запросы:
Есть ли способ получить доступ к банке, находящейся в хранилище GEN2 DataLake, и выполнить искровую отправку из рабочей области Databrics или даже из Azure ADF? (Поскольку связь между рабочей областью и хранилищем GEN2 защищена "fs.azure.account.key")
Есть ли способ сделать пробную отправку из записной книжки данных?
Есть ли способ получить доступ к банке, находящейся в хранилище GEN2 DataLake, и выполнить искровую отправку из рабочей области Databrics или даже из Azure ADF? (Поскольку связь между рабочей областью и хранилищем GEN2 защищена "fs.azure.account.key") К сожалению, вы не можете получить доступ к банке, находящейся в хранилище Azure, такой как учетная запись ADLS Gen2 / Gen1.
Примечание. Аргументы --jars, --py-files, --files поддерживают пути DBFS и S3.
Обычно библиотеки Jar хранятся в dbfs: / FileStore / jars.
Вам необходимо загрузить библиотеки в dbfs и передать их в качестве параметров в активности jar.
Для получения дополнительных сведений см. "Преобразование данных с помощью запуска активность jar в Azure Databricks с использованием ADF ".
Есть ли способ сделать искру из записной книжки?
Чтобы ответить на второй вопрос, вы можете сослаться на следующие типы вакансий:
Ссылка: SparkSubmit и "Создать вакансию"
Надеюсь это поможет.
Если это отвечает на ваш запрос, нажмите «Отметить как ответ» и «проголосовать за» для того же. И, если у вас возникнут дополнительные вопросы, дайте нам знать.
Наконец я понял, как это запустить:
Вы можете запустить банку Databricks из ADF и присоединить ее к существующему кластеру, для которого в кластере будет настроен ключ adls.
Сделать искру с ноутбука не получится. Но вы можете создать искровое задание в заданиях или использовать Databricks Run Sumbit api, чтобы выполнить искру-отправку.
