Есть ли способ добавить файл формата .feather с помощью pd.to_feather?
Мне также любопытно, знает ли кто-нибудь о некоторых ограничениях с точки зрения максимального размера файла и возможно ли запросить некоторые конкретные данные при чтении файла .feather (например, прочитать строки, где дата > '2017-03-31 ').
Мне нравится идея хранить свои кадры данных и категориальные данные.
К сожалению, и перо, и паркет являются файлами, ориентированными на столбцы. Это означает, что вы не можете «добавлять», поскольку это возможно только в форматах файлов, ориентированных на строки. Если вы хотите использовать паркет или перо, вы можете рассмотреть альтернативы для разделения файлов. Например, если у вас есть данные, которые не изменяются и генерируются один раз в день, вы можете записывать и секционировать на основе даты. Это создает некоторые накладные расходы при чтении и записи файла, но может быть лучшим вариантом, чем перезапись всего файла каждый раз.
Поскольку это столбчатый формат, вы также не можете запрашивать и читать только в строках, где, например. date>2017-01-01, чем паркет отличается, так это тем, что вы можете читать только те столбцы, которые вам нужны для анализа.
