知识卡片
数据划分与局部性制约伸缩
把任务分到更多机器并不自动按比例提速。划分若造成某些任务数据量或复杂度更高,慢任务会拖住整体;中间数据跨机搬运还会消耗网络。尽量把计算与所需数据放近,结合冗余文件系统和失败重调度,才能把框架的伸缩机会落实为收益。多个MapReduce作业也可按批量阶段组合,上一作业输出成为下一作业输入。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- · 查看原书依据
这种风格的性能会受到数据局部性的严重影响。
参考来源
- 位置:《恰如其分的软件架构》第14章《架构风格》14.14 map-reduce风格,来源项目book-sources,extracted/恰如其分的软件架构/_epub-src/OEBPS/text00155.html。
- 结论依据:原文对本卡概念作出实质解释,正文保留其用途和限制,不将读者推断冒充原文。
- 原始内容:这种风格的性能会受到数据局部性的严重影响。