Вопросы по теме 'hdf'
NetCDF 4.5 Java Проблемы с файлами NetCDF версии 4 + старый код для HDF не работает
У меня есть файл NetCDF версии 3. Я использовал последнюю версию ncks для Windows (выпущенную 1 октября 2014 г.), чтобы повторно обработать свой файл ncks -4 --cnk_dmn lat,4 --cnk_dmn lon,4 --cnk_dmn time,512 2014.nc 2014_chunked.nc , который...
359 просмотров
schedule
22.03.2022
Почему файлы CSV меньше файлов HDF5 при записи с помощью Pandas?
import numpy as np
import pandas as pd
df = pd.DataFrame(data=np.zeros((1000000,1)))
df.to_csv('test.csv')
df.to_hdf('test.h5', 'df')
ls -sh test*
11M test.csv 16M test.h5
Если я использую еще больший набор данных, эффект будет еще больше....
2325 просмотров
schedule
24.03.2023
Как извлечь и прочитать bzip2ed hdf5 в заархивированном файле в R?
Я хотел бы прочитать файл hdf5 в заархивированном файле. Проблема здесь в том, что этот файл hdf5 также дважды заархивирован как файл bzip2ed (.bz2).
Пожалуйста, обратитесь к рисунку, показанному ниже.
ZIP-файл...
563 просмотров
schedule
30.07.2023
Чтение и запись массивов numpy в файлы HDF5 и из них
Я создаю программное обеспечение для моделирования, и мне нужно записать (тысячи) двумерных массивов numpy в таблицы в файле HDF5, где одно измерение массива является переменным. Входящий array имеет тип float32; для экономии места на диске каждый...
2813 просмотров
schedule
26.03.2022
Чтение файла hdf5 с использованием h5py со временем замедляется
У меня есть файл hdf5 размером 80000 * 401408. Мне нужно читать из него данные партиями по 64, но индексы могут быть случайными (5, 0, 121, .., 2).
Проблема заключается в том, что, хотя изначально чтение достаточно последовательное, и для...
498 просмотров
schedule
18.06.2022
Как читать дельта-записи из MS SQL с помощью Nifi / HDF
У меня есть несколько таблиц в MS SQL, эти таблицы обновляются каждую секунду и запрос более или менее выглядит так
SELECT G_ID,UpdateTime,ID,Name,T_NAME FROM TABLE1 AS table1 INNER JOIN TABLE2 AS table2 ON table1.IP=table2.ID
WHERE...
727 просмотров
schedule
21.03.2023
Использование наборов данных HDF5 (не путать с HDFS) в качестве целей в luigi
Судя по тому, что я прочитал в документации, luigi предназначен для работы с текстовыми файлами или необработанными двоичными файлами в качестве целей. Я пытаюсь создать рабочий процесс luigi для существующего конвейера обработки, который использует...
749 просмотров
schedule
22.06.2023
Установите PyHDF на CentOS7
Пожалуйста помоги,
У меня возникли проблемы с установкой pyhdf на CentOS7. Я должен сказать, что я новичок в Linux
Pyhdf требует установки HDF, и до сих пор я пробовал следующее:
сначала установите HDF с помощью ./configure, gmake &&...
154 просмотров
schedule
08.01.2023