知识卡片

问题卡 · 5773

大对象序列化效率须看协议

理解等级:中级

序列化大数组时要考察复制量、格式、对象类型和收发双方能力。原书对pickle大数组效率的判断有版本背景:协议5自3.8支持带外缓冲,但对象提供者与消费者都需配合,并非所有pickle自动零拷贝,已查官方文档(2026-10-27)。是否选分块文件或HDF5应按需求验证,不能据旧结论直接排除当前方案。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • · 查看原书依据

      对于大型的数据结构,比如由array模块或numpy库创建的二进制数组,pickle就不是一种特别高效的编码了。如果需要移动大量的数组型数据,那么最好简单地将数据按块保存在文件中,或者使用更加标准的编码,比如HDF5(由第三方库支持)。 由于pickle是Python的

    参考来源

    - 位置:《Python Cookbook(第3版)中文版》5.21 序列化Python对象(spine13;extracted/Python Cookbook(第3版)中文版/_epub-src/OEBPS/Text/part0011.xhtml;u099-ch05-031)。 - 结论依据:完整读取本条问题、方案、代码与讨论;结论按真实控制流和适用前提表达,额外边界明确为解释或推导,示例未执行。 - 原始内容:对于大型的数据结构,比如由array模块或numpy库创建的二进制数组,pickle就不是一种特别高效的编码了。如果需要移动大量的数组型数据,那么最好简单地将数据按块保存在文件中,或者使用更加标准的编码,比如HDF5(由第三方库支持)。 由于pickle是Python的