知识卡片

延伸参考卡 · 6358.d

分层文件支持按块访问数据

理解等级:中级

HDF5在文件内组织多个数据集与元数据,支持按块读写及按配置压缩,有助于处理无法整体驻留内存的数据。分层文件仍不同于提供完整事务与并发语义的数据库;按块读取能减少本次读取范围,却不保证任何任务都更快或压缩一定有效。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • · 查看原书依据

      文件系统式的节点结构,它使你能够存储多个数据集并支持元数据。与其他简单格式相比,HDF5支持多种压缩器的即时压缩,还能更高效地存储重复模式数据。对于那些非常大的无法直接放入内存的数据集,HDF5就是不错的选择,因为它可以高效地分块读写。 Python中的HDF5库有两个接口(即PyTables和h5py),它们各自采取了不同的问题解决方式。h5py提供了一种

    参考来源

    - 位置:《利用Python进行数据分析》第6章《使用HDF5格式》(spine288;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0274.html;u140-ch06-019)。 - 结论依据:原文在“文件系统式的节点结构”附近的定义、例子或代码支撑本卡核心说明:HDF5在文件内组织多个数据集与元数据,支持按块读写及按配置压缩,有助于处理无法整体驻留内存的数据。边界按已读前提解释;示例未执行。 - 原始内容:文件系统式的节点结构,它使你能够存储多个数据集并支持元数据。与其他简单格式相比,HDF5支持多种压缩器的即时压缩,还能更高效地存储重复模式数据。对于那些非常大的无法直接放入内存的数据集,HDF5就是不错的选择,因为它可以高效地分块读写。 Python中的HDF5库有两个接口(即PyTables和h5py),它们各自采取了不同的问题解决方式。h5py提供了一种