知识卡片

普通读书笔记卡 · 5780

流式处理须比较总资源与吞吐

理解等级:中级

原XML计数例整树解析约450MB、增量约7MB,整树版又约快两倍,展示用更少保留状态换取额外管理开销的取舍。这些是原环境测量,不是当前性能承诺。评估时应同时记录输入规模、峰值内存、总耗时及聚合结果占用;流式不意味着每一步更快,也不能忽略下游Counter等增长。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • · 查看原书依据

      450 MB内存。但是如果使用下面这份代码,程序只做了微小的修改: from collections import Counter potholes_by_zip = Counter() data = parse_and_remove('potholes.xml', '

    参考来源

    - 位置:《Python Cookbook(第3版)中文版》6.4 以增量方式解析大型XML文件(spine14;extracted/Python Cookbook(第3版)中文版/_epub-src/OEBPS/Text/part0012.xhtml;u104-ch06-012)。 - 结论依据:完整读取本条问题、方案、代码与讨论;结论按真实控制流和适用前提表达,额外边界明确为解释或推导,示例未执行。 - 原始内容:450 MB内存。但是如果使用下面这份代码,程序只做了微小的修改: from collections import Counter potholes_by_zip = Counter() data = parse_and_remove('potholes.xml', '