知识卡片

普通读书笔记卡 · 1958.j.9.a.1

数据划分与局部性制约伸缩

理解等级:中级

把任务分到更多机器并不自动按比例提速。划分若造成某些任务数据量或复杂度更高,慢任务会拖住整体;中间数据跨机搬运还会消耗网络。尽量把计算与所需数据放近,结合冗余文件系统和失败重调度,才能把框架的伸缩机会落实为收益。多个MapReduce作业也可按批量阶段组合,上一作业输出成为下一作业输入。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《恰如其分的软件架构》第14章《架构风格》14.14 map-reduce风格,来源项目book-sources,extracted/恰如其分的软件架构/_epub-src/OEBPS/text00155.html。 - 结论依据:原文对本卡概念作出实质解释,正文保留其用途和限制,不将读者推断冒充原文。 - 原始内容:这种风格的性能会受到数据局部性的严重影响。