Вопросы по теме 'hdf5'
Как лучше всего записать контейнер std :: vector ‹std :: string› в набор данных HDF5?
Учитывая вектор строк, как лучше всего записать их в набор данных HDF5? На данный момент делаю примерно следующее:
const unsigned int MaxStrLength = 512;
struct TempContainer {
char string[MaxStrLength];
};
void writeVector (hid_t...
10016 просмотров
schedule
21.02.2022
Параллелизм потоков записи HDF5
Может ли HDF5 обрабатывать несколько потоков самостоятельно или его необходимо синхронизировать извне? Пример OpenMP предполагает последнее.
Если первое, то как правильно определить пространство данных для записи?
1918 просмотров
schedule
09.02.2023
BadImageFormatException: PInvoke ImportDll с hdf5dll.dll
Хорошо, у меня есть библиотека HDF5, загруженная с официального сайта, и у меня есть несколько DLL, в том числе hdf5dll.dll и hdf5_hldll.dll.
У меня есть что-то вроде обертки для нативных вызовов в моих классах H5 , H5LT , H5F и H5T . Пример...
2164 просмотров
schedule
13.09.2022
Поддержка разреженных массивов в HDF5
Мне нужно каким-то образом сохранить массив 512 ^ 3 на диске, и сейчас я использую HDF5. Поскольку массив разреженный, много дискового пространства тратится впустую.
Обеспечивает ли HDF5 поддержку разреженного массива?
6589 просмотров
schedule
08.02.2023
Чтение большого текстового файла в hdf5 через PyTables или PyHDF?
Я пытаюсь получить статистику с помощью SciPy, но мой набор входных данных довольно велик (~ 1,9 ГБ) и находится в формате dbf. Размер файла достаточно велик, и Numpy возвращает сообщение об ошибке, когда я пытаюсь создать массив с помощью...
3727 просмотров
schedule
24.10.2022
Как удалить шестнадцатеричные значения в строке Python с помощью регулярных выражений?
У меня есть массив ячеек в Matlab
columns = {'MagX', 'MagY', 'MagZ', ...
'AccelerationX', 'AccelerationX', 'AccelerationX', ...
'AngularRateX', 'AngularRateX', 'AngularRateX', ...
'Temperature'}
Я использую...
19069 просмотров
schedule
18.01.2023
Как расширить h5py, чтобы получить доступ к данным в файле hdf5?
У меня есть небольшая программа на Python, которая создает файл hdf5 с помощью модуля h5py. Я хочу написать модуль Python для работы с данными из файла hdf5. Как я мог это сделать?
В частности, я могу установить массивы numpy в PyArrayObject и...
2684 просмотров
schedule
06.04.2022
Связывание библиотеки HDF5 с проектом DLL Visual C++: неразрешенный внешний символ __imp__*
Я создаю подключаемый модуль для MS Visual C++ 2010 Express и хочу включить возможности из библиотеки HDF5. . Я пробовал как собрать HDF5 из исходного кода с помощью CMake, так и установить предварительно скомпилированную библиотеку (...
6418 просмотров
schedule
08.05.2023
Оптимизация скорости записи в HDF5 с помощью Pytables
Проблема связана со скоростью записи компьютера (10 * 32-битная машина) и производительностью запросов postgresql. Я подробно объясню сценарий.
У меня есть данные около 80 Гб (вместе с соответствующими индексами базы данных). Я пытаюсь прочитать...
1914 просмотров
schedule
15.07.2022
Добавление массива NumPy в существующий файл HDF5 в PyTables?
У меня есть два нарезанных массива Numpy, хранящихся в памяти, скажем, a и b, в форме 1 * 480 * 640, как я могу добавить их в существующий файл HDF5 в PyTables? Существующий файл HDF5 имеет три массива: n1,n2,n3, я хочу, чтобы новый файл HDF5 имел 5...
455 просмотров
schedule
01.01.2023
matplotlib — трехмерная поверхность из прямоугольного массива высот
Я пытаюсь построить некоторые данные HDF в matplotlib. После их импорта с помощью h5py данные сохраняются в виде массива, например:
array([[151, 176, 178],
[121, 137, 130],
[120, 125, 126])
В этом случае значения x и y — это...
24442 просмотров
schedule
03.08.2022
Ошибка PyTables/HDF5 KERNEL32.dll
Я недавно установил HDF5 1.8.9 и PyTables 2.4.0 в Windows XP с использованием Python 2.7.2 со следующими установленными из двоичных файлов из PyPI (если доступно) или http://www.lfd.uci.edu/~gohlke/pythonlibs/ (если нет)
Суперпак Numpy 1.6.1...
1459 просмотров
schedule
13.02.2023
Как изменить проекцию с файлом MODIS hdf с помощью GDAL в Python?
У меня есть несколько файлов MODIS hdf, и я пытаюсь изменить проекцию с Sinusoidal на Lambert Conformal Conic с помощью модуля GDAL в Python. Вот мой код Python, и он возвращает сообщение об ошибке:
import os,sys
import gdal
import numpy...
1580 просмотров
schedule
16.07.2023
Тип соединения HDF5 Собственный по сравнению с IEEE
Я только собираю HDF5, и меня немного смущает разница между созданием данных для памяти и созданием данных для файла. Какая разница?
В этом примере создание данных составного типа требует, чтобы данные были созданы в памяти и помещены в файл:...
672 просмотров
schedule
10.10.2022
HDFStore.append(string, DataFrame) завершается с ошибкой, когда содержимое строкового столбца длиннее, чем уже существующее
У меня есть Pandas DataFrame, хранящийся через HDFStore, который, по сути, хранит сводные строки о тестовых запусках, которые я делаю.
Несколько полей в каждой строке содержат описательные строки переменной длины.
Когда я выполняю тестовый...
7460 просмотров
schedule
28.11.2022
Обновление наборов данных h5py
У кого-нибудь есть идеи по обновлению наборов данных hdf5 из h5py? Предполагая, что мы создаем набор данных, например:
import h5py
import numpy
f = h5py.File('myfile.hdf5')
dset = f.create_dataset('mydataset', data=numpy.ones((2,2),"=i4"))...
12571 просмотров
schedule
28.03.2023
Большие атрибуты в HDF5 (C++)
Я использую API HDF5 C++. У меня есть программа, которая очень редко должна записывать атрибуты размером более 64 КБ. Он генерирует исключение H5::AttributeIException при попытке записи такого большого атрибута.
В документации HDF5 упоминаются...
478 просмотров
schedule
24.04.2023
Итеративная запись в магазины HDF5 в Pandas
В Pandas есть следующие примеры того, как хранить Series , DataFrames и Panels в файлах HDF5. :
Подготовьте некоторые данные:
In [1142]: store = HDFStore('store.h5')
In [1143]: index = date_range('1/1/2000', periods=8)
In [1144]: s =...
16421 просмотров
schedule
20.07.2023
Pytables, установка и удаление атрибутов HDF5,
Я много работаю с данными pytables и HDF5, и у меня есть вопрос относительно атрибутов узлов (атрибуты, к которым вы обращаетесь через свойство pytables 'node._v_attrs').
Предположим, что я установил такой атрибут узла hdf5. Я делаю это снова и...
939 просмотров
schedule
02.02.2023
pytables. Предупреждение о доступе к узлу с помощью f.get_node()
Я использую python с pytables для чтения h5 file .
Итак, в основном, что я делаю, это:
f = t.open_file(file, mode='r')
root = f.root
obj = f.get_node(root, 'density_100m')
Проблема в том, что я получаю предупреждение при доступе к...
484 просмотров
schedule
29.01.2023
