知识卡片

普通读书笔记卡

迭代中间结果转移资源瓶颈

理解等级:高级

逐轮迭代生成序列时,下一轮依赖上一轮的完整结果。把中间结果汇到工头,会遇到内存瓶颈;分散到工人互传,会增加网络与工人内存压力;写成文件可避开内存溢出,却带来大量 I/O。选择递归前缀分解或迭代前,应看是否必须物化中间结果及其增长规模。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大规模分布式系统架构与设计实战》第2章《分布式并行计算的原理与实践》2.5.12“使用并行计算大幅提升递归算法效率”(源文件:`_epub-src/OEBPS/text00030.html`) - 结论依据:原文逐一分析工头合并、工人互传、文件存储三种迭代思路,指出内存、网络、文件 I/O 依次成为代价。 - 原始内容:由于迭代计算的特点,需要将中间结果进行保存,作为下一轮计算的条件,如果为了利用多机并行计算优势,又需要反复合并产生中间结果,所以导致对内存、带宽、文件IO的耗用很大