Вопросы по теме 'azure-data-lake-gen2'

Невозможно увидеть параметр «Управление жизненным циклом» для ADLS Gen2
Я создал ресурс ADLS (Azure Data Lake Storage) Gen2 (StorageV2 с включенным иерархическим пространством имен). Регион, в котором я создал ресурс, - Центральная часть США, уровень производительности / доступа - Стандартный / Горячий, а репликация -...
626 просмотров

Как отправить космический скрипт с помощью ADL
Я работаю над отправкой сценария космоса с использованием озера данных Azure, я создал «Аналитику озера данных» с именем «cpprodactivityreportsc08» на портале Azure и пытаюсь отправить сценарий космоса, выбрав целевой VC — «cpprodactivityreportsc08»...
388 просмотров

Как я могу прочитать файл из Azure Data Lake Gen 2 с помощью Python
У меня есть файл, лежащий в файловой системе Azure Data Lake Gen 2. Я хочу прочитать содержимое файла и внести некоторые изменения на низком уровне, т.е. удалить несколько символов из нескольких полей в записях. Чтобы быть более точным - есть...
2820 просмотров

Получение последних данных из хранилища BLOB-объектов ADLS Gen 2 в таблицу, подключенную в Azure DataBricks
Я создал неуправляемую таблицу в Azure DataBricks, используя путь монтирования, как показано ниже: CREATE TABLE <Table-Name> using org.apache.spark.sql.parquet OPTIONS (path "/mnt/<folder>/<subfolder>/") Источник пути...
197 просмотров

Проблема с Flink StreamingFileSink ‹GenericRecord› и Azure Datalake Gen 2
У меня проблема с попыткой погрузить файл в Azure Datalake Gen 2 с помощью StreamingFileSink от Flink, я использую core-site.xml с Hadoop Bulk Format. Я пытаюсь скопировать в свой datalake с форматом abfss: // (также попробуйте с abfs: //)...
263 просмотров

Как проверить, имеет ли созданная учетная запись хранения V2 свойство data lake gen2 в Azure?
Я новичок в Azure и хотел бы знать, как я могу проверить, что существующая учетная запись хранилища V2, доступная в группе ресурсов, имеет тип озера данных Gen2 или нет. Я знаю процесс создания озера данных 2-го поколения с помощью параметра...
416 просмотров

OpenReadAsync в CloudBlob возвращает пустой поток
У меня есть лазурная функция (триггер EventGrid), которая срабатывает при создании нового большого двоичного объекта в хранилище больших двоичных объектов (Data Lake Storage Gen2). В этой функции мне нужно прочитать большой двоичный объект и...
241 просмотров

Как установить дату истечения срока действия файла, который я создаю в озере данных Azure с помощью Python SDK?
Я использую Python 3.8 и озеро данных Azure Gen 2. Я хочу установить срок действия файла, который я сохраняю в озере данных. После этого - класс azure.datalake.store.core.AzureDLFileSystem | Microsoft Docs, я попробовал следующее...
421 просмотров

Развертывание шаблона ARM HDInsight azure adls gen2 'InternalServerError'
Создание кластера Azure HDinsight Spark с ADLS Gen 2, назначенная пользователем управляемая идентификация с ролью StorageBlobdataOwner. Успешно назначена роль msi для хранилища, но возникает ошибка при развертывании HDInsight (внутренняя ошибка...
140 просмотров

Объект файла Java для файла в ADLS Gen2
У меня есть инструмент, который работает для локальной загрузки данных. По сути, он считывает файл из локальной системы, то есть (локально: Linux или Windows), и отправляет его в определенное место. Он использует класс Java File. например: новый...
54 просмотров

проблема с доступом при подключении к лазурному озеру данных 2-го поколения из блоков данных
Я получаю эту проблему с доступом ниже при попытке подключиться из блоков данных к озеру данных gen2 с использованием принципала службы и OAuth 2.0 Выполненные шаги: Справочная статья создал нового субъекта-службы предоставить необходимый...
55 просмотров