1. 本际云推荐 - 专业推荐VPS、服务器,IDC点评首页
  2. 云主机运维
  3. VPS运维

Python实际操作HDF5文档实例

Python实际操作HDF5文档实例

本文将详细说明Python下如何操作HDF5文档,如果你有兴趣,可以参考借鉴一下,希望可以有一定的帮助。在介绍具体操作之前,我们先来了解一下HDF5文档在Matlab中的操作方式。

Python实际操作HDF5文档实例

Matlab操作HDF5文档总结

在Matlab操作HDF5文档中,需要依照顺序建立HDF5文档、载入数据信息以及获取数据。而在Python中,我们依然可以按照这种顺序来操作HDF5文档,但是需要使用h5py工具箱。

Python中的HDF5文档操作涉及到两个关键参数:shape和maxshape。其中,我们希望数据的某个层面能够拓展,因此在maxshape中,将期待拓展的层面标识为None,别的层面和shape主要参数里边的相同。另外,使用compression=’gzip’之后,全部数据能被很大的缩小,对较大的数据十分实用。在读写数据信息时,也无需客户显式地编解码。

Python中HDF5文档的操作

在Python中,我们可以使用create_dataset方法来建立HDF5文档,例如:

h5file=h5py.File(filename,'w')
X=h5file.create_dataset(shape=(0,args.patch_size,args.patch_size),
                        maxshape=(None,args.patch_size,args.patch_size),
                        dtype=float,compression='gzip',name='train',
                        chunks=(args.chunk_size,args.patch_size,args.patch_size))

对于已经建立了的dataset,我们可以像读写numpy二维数组一样来读写数据信息:

data=np.zeros((100,args.patch_size,arg))
X[0:100,:,:]=data

如果我们拥有更多的数据信息,需要拓展在maxshape中界定为None的那一个层面,可以使用resize方法:

X.resize(X.shape[0]+args.chunk_size,axis=0)

另外,在读取HDF5数据集时,我们可以先从硬盘中读取chunk_size大小的数据信息,再将其存储到内存条中,需要时再从内存条中读取,这种方式可以提高读取速度。

结语

本文主要介绍了Python下如何操作HDF5文档,包括建立HDF5文档、载入数据信息和获取数据。希望对你有所帮助,让你在实际操作中更加得心应手。

原创文章,作者:小编小本本,如若转载,请注明出处:https://www.benjiyun.com/yunzhujiyunwei/vps-yunwei/6799.html