Вопросы по теме 'hdf'

NetCDF 4.5 Java Проблемы с файлами NetCDF версии 4 + старый код для HDF не работает
У меня есть файл NetCDF версии 3. Я использовал последнюю версию ncks для Windows (выпущенную 1 октября 2014 г.), чтобы повторно обработать свой файл ncks -4 --cnk_dmn lat,4 --cnk_dmn lon,4 --cnk_dmn time,512 2014.nc 2014_chunked.nc , который...
359 просмотров
schedule 22.03.2022

Почему файлы CSV меньше файлов HDF5 при записи с помощью Pandas?
import numpy as np import pandas as pd df = pd.DataFrame(data=np.zeros((1000000,1))) df.to_csv('test.csv') df.to_hdf('test.h5', 'df') ls -sh test* 11M test.csv 16M test.h5 Если я использую еще больший набор данных, эффект будет еще больше....
2325 просмотров
schedule 24.03.2023

Как извлечь и прочитать bzip2ed hdf5 в заархивированном файле в R?
Я хотел бы прочитать файл hdf5 в заархивированном файле. Проблема здесь в том, что этот файл hdf5 также дважды заархивирован как файл bzip2ed (.bz2). Пожалуйста, обратитесь к рисунку, показанному ниже. ZIP-файл...
563 просмотров
schedule 30.07.2023

Чтение и запись массивов numpy в файлы HDF5 и из них
Я создаю программное обеспечение для моделирования, и мне нужно записать (тысячи) двумерных массивов numpy в таблицы в файле HDF5, где одно измерение массива является переменным. Входящий array имеет тип float32; для экономии места на диске каждый...
2813 просмотров
schedule 26.03.2022

Чтение файла hdf5 с использованием h5py со временем замедляется
У меня есть файл hdf5 размером 80000 * 401408. Мне нужно читать из него данные партиями по 64, но индексы могут быть случайными (5, 0, 121, .., 2). Проблема заключается в том, что, хотя изначально чтение достаточно последовательное, и для...
498 просмотров
schedule 18.06.2022

Как читать дельта-записи из MS SQL с помощью Nifi / HDF
У меня есть несколько таблиц в MS SQL, эти таблицы обновляются каждую секунду и запрос более или менее выглядит так SELECT G_ID,UpdateTime,ID,Name,T_NAME FROM TABLE1 AS table1 INNER JOIN TABLE2 AS table2 ON table1.IP=table2.ID WHERE...
727 просмотров

Использование наборов данных HDF5 (не путать с HDFS) в качестве целей в luigi
Судя по тому, что я прочитал в документации, luigi предназначен для работы с текстовыми файлами или необработанными двоичными файлами в качестве целей. Я пытаюсь создать рабочий процесс luigi для существующего конвейера обработки, который использует...
749 просмотров
schedule 22.06.2023

Установите PyHDF на CentOS7
Пожалуйста помоги, У меня возникли проблемы с установкой pyhdf на CentOS7. Я должен сказать, что я новичок в Linux Pyhdf требует установки HDF, и до сих пор я пробовал следующее: сначала установите HDF с помощью ./configure, gmake &&...
154 просмотров
schedule 08.01.2023