Мне нужно использовать dask для загрузки нескольких файлов паркета с идентичной схемой в один фрейм данных. Это работает, когда все они находятся в одном каталоге, но не в разных каталогах. Например: import fastparquet pfile =...

После некоторых поисков мне не удалось найти подробное сравнение fastparquet и pyarrow . Я нашел этот блог post (базовое сравнение скоростей). и обсуждение на github, в котором утверждается, что файлы, созданные с помощью fastparquet ,...

Я только что прочитал, что HDF5 позволяет вам получить доступ к данным без чтения всего файла в память. Возможно ли такое поведение при поиске в файлах Parquet без Java (решения, отличные от pyspark)? Я использую Parquet из-за сильной поддержки...