Записать в CSV-файл из таблицы deltalake в Databricks

Как мне записать содержимое таблицы deltalake в файл csv в Azure databricks? Есть ли способ, при котором мне не нужно сначала выгружать содержимое в фрейм данных? https://docs.databricks.com/delta/delta-batch.html


delta-lake azure-databricks
person SA 95    schedule 08.08.2019    source источник

Ответы (2)


arrow_upward
1
arrow_downward

При загрузке данных в дельта-таблицу я использовал расположение папки ADLS Gen2 для создания версионных паркетных файлов.

Преобразование паркета в CSV может быть выполнено с помощью операции копирования данных в ADF.

person SA 95    schedule 09.09.2019

arrow_upward
0
arrow_downward

Вы можете просто использовать Insert Overwrite Directory.

Синтаксис будет

INSERT OVERWRITE DIRECTORY <directory_path> USING <file_format> <options> select * from table_name

Здесь вы можете указать путь к целевому каталогу, в котором будет создан файл. Это может быть parquet, csv, txt, json и т. Д.

person abhishek kala    schedule 26.01.2021