Сравнение между fastparquet и pyarrow?

Я использовал как fastparquet, так и pyarrow для преобразования данных protobuf в паркет и для запроса их в S3 с помощью Athena. Оба работали, однако, в моем случае использования, который представляет собой лямбда-функцию, zip-файл пакета должен быть легким, поэтому я выбрал fastparquet. (библиотека fastparquet весила всего около 1,1 МБ, а библиотека pyarrow — 176 МБ, а ограничение пакета Lambda — 250 МБ).

Я использовал следующее для хранения фрейма данных в виде файла паркета:

from fastparquet import write

parquet_file = path.join(filename + '.parq')
write(parquet_file, df_data)

Отмечу, что автор сравнения скоростей является и автором pyarrow :) Могу говорить о случае с fastparquet.

С вашей точки зрения, самое важное, что нужно знать, — это совместимость. Athena не является тестовой мишенью для fastparquet (или pyarrow), поэтому вам следует тщательно протестировать ее, прежде чем сделать свой выбор. Существует ряд параметров, которые вы можете использовать (docs) для даты и времени. представление, нули, типы, которые могут быть важны для вас.

Запись на s3 с помощью dask, безусловно, является тестовым случаем для fastparquet, и я считаю, что у pyarrow также не должно быть проблем с этим.

Я просто использовал fastparquet для случая, чтобы получить данные из Elasticsearch и сохранить их в S3, а затем выполнить запрос с помощью Athena, и у меня не было никаких проблем.

Я использовал следующее для хранения фрейма данных в S3 в виде файла паркета:

import s3fs
import fastparquet as fp
import pandas as pd
import numpy as np

s3 = s3fs.S3FileSystem()
myopen = s3.open
s3bucket = 'mydata-aws-bucket/'

# random dataframe for demo
df = pd.DataFrame(np.random.randint(0,100,size=(100, 4)), columns=list('ABCD'))

parqKey = s3bucket + "datafile"  + ".parq.snappy"
fp.write(parqKey, df ,compression='SNAPPY', open_with=myopen)

Моя таблица выглядит примерно так в Athena:

CREATE EXTERNAL TABLE IF NOT EXISTS myanalytics_parquet (
  `column1` string,
  `column2` int,
  `column3` DOUBLE,
  `column4` int,
  `column5` string
 )
STORED AS PARQUET
LOCATION 's3://mydata-aws-bucket/'
tblproperties ("parquet.compress"="SNAPPY")

Однако, поскольку в вопросе отсутствуют конкретные критерии, и я пришел сюда за хорошим выбором по умолчанию, я хочу заявить, что механизм по умолчанию pandas для объектов DataFrame является pyarrow (см. документы pandas).

Этот вопрос может быть немного старым, но я работаю над той же проблемой, и я нашел этот тест https://wesmckinney.com/blog/python-parquet-update/ . Согласно ему, pyarrow быстрее, чем fastparquet, неудивительно, что это движок по умолчанию, используемый в dask.

Обновлять:

Обновление моего предыдущего ответа. Мне больше повезло писать с помощью pyarrow и читать с помощью fastparquet в облачном хранилище Google.