Самый быстрый способ прочитать весь HDF5, содержащий массивы Numpy, в память

Я использую :

import h5py

f = h5py.File('myfile.h5', 'r')
d = {}
for k in f.iterkeys():
    d[k] = f[k][:]

чтобы прочитать в память весь файл HDF5 (2 ГБ, 1000 numpy массивов по 2 МБ каждый).

Есть ли более быстрый способ загрузить все содержимое HDF5 в память?

(Может быть, цикл здесь много «перемещает» (ищет?) в файле, потому что каждый f[k] не расположен в том порядке, который дает for k in f.iterkeys() ?)


python numpy arrays h5py hdf5
person Basj    schedule 13.03.2014    source источник

Ответы (1)


arrow_upward
7
arrow_downward

PyTables (еще одна библиотека Python HDF5) поддерживает загрузку всего файла в память с помощью драйвер H5FD_CORE. h5py также поддерживает файлы с отображением памяти (см. Драйверы файлов< /а>). Так что просто сделай

import h5py
f = h5py.File('myfile.h5', 'r', driver='core')

и все готово, так как файл уже находится в памяти.

person Joe    schedule 13.03.2014
comment
Означают ли файлы с отображением памяти, что они загружены в память? - person spurra; 22.04.2018
comment
@spurra Как правило, нет. Но согласно документации h5py все операции выполняются в памяти. - person Joe; 23.04.2018