知识卡片

问题卡 · 5980

独立分片再归并适合进程池

理解等级:中级

日志例按文件独立提取主机集合,再做集合并集;pool.map可让这些分片在不同进程处理。并集适合此例归并,但不代表所有任务都可独立或无顺序影响。分片规模要足以抵消启动、读取竞争和传输成本;原四核3.5倍为旧环境结果,不能当当前保证,返回大集合也可能增加通信和聚合占用。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • · 查看原书依据

      all_robots.update(robots) return all_robots if __name__ == '__main__': robots = find_all_robots('logs') for ipaddr in robots: print(ipa

    参考来源

    - 位置:《Python Cookbook(第3版)中文版》12.8 实现简单的并行编程(spine20;extracted/Python Cookbook(第3版)中文版/_epub-src/OEBPS/Text/part0018.xhtml;u217-ch12-025)。 - 结论依据:完整读取本条问题、方案、代码与讨论;结论按真实控制流和适用前提表达,额外边界明确为解释或推导,示例未执行。 - 原始内容:all_robots.update(robots) return all_robots if __name__ == '__main__': robots = find_all_robots('logs') for ipaddr in robots: print(ipa