Вопросы по теме 'h5py'
Как расширить h5py, чтобы получить доступ к данным в файле hdf5?
У меня есть небольшая программа на Python, которая создает файл hdf5 с помощью модуля h5py. Я хочу написать модуль Python для работы с данными из файла hdf5. Как я мог это сделать?
В частности, я могу установить массивы numpy в PyArrayObject и...
2684 просмотров
schedule
06.04.2022
Обновление наборов данных h5py
У кого-нибудь есть идеи по обновлению наборов данных hdf5 из h5py? Предполагая, что мы создаем набор данных, например:
import h5py
import numpy
f = h5py.File('myfile.hdf5')
dset = f.create_dataset('mydataset', data=numpy.ones((2,2),"=i4"))...
12571 просмотров
schedule
28.03.2023
Как читать мат файл v7.3 через h5py?
У меня есть структурный массив, созданный matlab и хранящийся в файле mat формата v7.3:
struArray = struct('name', {'one', 'two', 'three'},
'id', {1,2,3},
'data', {[1:10], [3:9], [0]})
save('test.mat',...
20631 просмотров
schedule
15.12.2022
Установка h5py в Windows не удалась - возможно, проблема с 32-битной или 64-битной версией?
Я только что переключил свою установку python на прекрасную Anaconda и пытаюсь снова установить и снова использовать пакеты, которые я часто использую. К сожалению, у меня возникли некоторые проблемы с запуском h5py - установщик Python 2.7, доступный...
2578 просмотров
schedule
04.12.2022
Самый быстрый способ прочитать весь HDF5, содержащий массивы Numpy, в память
Я использую :
import h5py
f = h5py.File('myfile.h5', 'r')
d = {}
for k in f.iterkeys():
d[k] = f[k][:]
чтобы прочитать в память весь файл HDF5 (2 ГБ, 1000 numpy массивов по 2 МБ каждый) .
Есть ли более быстрый способ загрузить все...
3454 просмотров
schedule
27.02.2023
Как изменить размер массива HDF5 с помощью `h5py`
Как изменить размер массива HDF5 с помощью библиотеки h5py Python?
Я пробовал использовать метод .resize и на массиве с chunks , установленным на True . Увы, мне все еще чего-то не хватает.
In [1]: import h5py
In [2]: f =...
10953 просмотров
schedule
19.03.2023
Конвертируйте файл HDF5 в другие форматы
У меня есть несколько больших наборов файлов HDF5, и я ищу эффективный способ преобразования данных в этих файлах в XML, TXT или другой легко читаемый формат. Я пробовал работать с пакетом Python (www.h5py.org), но не смог найти никаких методов, с...
11944 просмотров
schedule
27.11.2022
Быстрая нарезка файлов .h5 с помощью h5py
Я работаю с .h5 файлами с небольшим опытом.
В сценарии, который я написал, я загружаю данные из файла .h5. Форма результирующего массива: [3584, 3584, 75] . Здесь значения 3584 обозначают количество пикселей, а 75 обозначают количество...
452 просмотров
schedule
29.09.2023
Самый быстрый способ записать файл с помощью h5py
Прежде всего, я прочитал тему « Самый быстрый способ записи файла hdf5 с Python? ", но это не очень помогло.
Я пытаюсь загрузить файл размером около 1 ГБ (матрица размером (70133351,1)) в структуре h5f5.
Довольно простой код, но медленный....
2689 просмотров
schedule
09.05.2023
Необъяснимое поведение при использовании vlen с h5py
Я использую h5py для создания набора данных. Поскольку я хочу хранить массивы с разным размером #of rows, я использую vlen h5py special_type. Однако я испытываю поведение, которое не могу объяснить, может быть, вы поможете мне понять, что...
711 просмотров
schedule
16.08.2022
Сохраните pandas DataFrame с помощью h5py для взаимодействия с другими считывателями hdf5
Вот пример фрейма данных:
import pandas as pd
NaN = float('nan')
ID = [1, 2, 3, 4, 5, 6, 7]
A = [NaN, NaN, NaN, 0.1, 0.1, 0.1, 0.1]
B = [0.2, NaN, 0.2, 0.2, 0.2, NaN, NaN]
C = [NaN, 0.5, 0.5, NaN, 0.5, 0.5, NaN]
columns = {'A':A, 'B':B, 'C':C}
df...
15182 просмотров
schedule
29.01.2023
h5py неправильно собран против mpi4py
Я пытаюсь собрать h5py против mpi4py. Моя цель - иметь возможность совместно использовать файл между несколькими процессорами. h5py установлен в системе, но, вероятно, не со ссылкой на mpi4py. Фактически, когда я запускаю следующий пример сценария:...
1987 просмотров
schedule
19.07.2022
Написание большого набора данных hdf5 с использованием h5py
На данный момент я использую h5py для создания наборов данных hdf5. У меня есть что-то вроде этого
import h5py
import numpy as np
my_data=np.genfromtxt("/tmp/data.csv",delimiter=",",dtype=None,names=True)
myFile="/tmp/f.hdf"
with...
9499 просмотров
schedule
01.06.2022
Установите h5py без sudo
Я пытаюсь установить пакет h5py через pip для python 2.7, я не могу использовать sudo , и у меня тоже установлен python 3.2.
Вот моя попытка:
Я установил пип:
curl -O https://bootstrap.pypa.io/get-pip.py
python2.7 get-pip.py --user...
1193 просмотров
schedule
04.07.2023
Сохранение с помощью массивов h5py разных размеров
Я пытаюсь сохранить около 3000 массивов numpy, используя формат данных HDF5. Массивы различаются по длине от 5306 до 121999 np.float64.
Я получаю ошибку Object dtype dtype('O') has no native HDF5 equivalent , так как из-за нерегулярного характера...
18019 просмотров
schedule
27.01.2023
Ошибка при загрузке файла .mat с помощью scipy.io (ValueError: Mat 4 mopt неверный формат)
В настоящее время я пытаюсь загрузить файл .mat в python, используя scipy и следующий фрагмент кода:
from scipy import io as sio
data= "file.mat"
output= sio.loadmat(data)
Однако при запуске команды я получаю сообщение об ошибке:...
1225 просмотров
schedule
15.12.2022
h5py, доступ к данным в наборах данных в SVHN
Я хочу прочитать набор данных номеров домов (SVHN) Просмотра улиц с помощью h5py
In [117]: def printname(name):
...: print(name)
...:
In [118]: data['/digitStruct'].visit(printname)
bbox
name
В данных есть две группы: bbox...
2471 просмотров
schedule
06.06.2023
Как лениво объединить объекты, подобные numpy ndarray, для последовательного чтения?
У меня есть список из нескольких больших файлов hdf5, каждый из которых содержит набор данных 4D. Я хотел бы получить их конкатенацию на первой оси, например, массивоподобный объект, который будет использоваться так, как если бы все наборы данных...
418 просмотров
schedule
07.06.2023
Можно ли загружать большие данные непосредственно в массив numpy int8 с помощью h5py?
У меня есть очень большой файл данных (массив 1000 на 1400000), который содержит целые числа 0, 1, 2 и 4. Загрузка этих больших данных в массив numpy с использованием h5py занимает очень много времени, потому что моя память (4 ГБ) не может вместить...
566 просмотров
schedule
26.10.2022
dask out-of-core матрица многократного планирования
Я пытаюсь вычислить матричное произведение Y=XX^T для матрицы X размером 10 000 * 800 000. Матрица X хранится на диске в файле h5py. Результирующий Y должен быть матрицей 10 000 * 10 000, хранящейся в том же файле h5py. Вот воспроизводимый пример...
644 просмотров
schedule
13.09.2022
