知识卡片
分块并行还需要结果归约
日志分析可以先对独立数据块并行执行映射,得到局部统计或识别结果,再归约合成最终报告。分块解决任务分配,归约解决局部结果如何组合,两者职责不同。书中将单机多核的Fork/Join与分布式Map-Reduce作类比,不能由类比推断二者有相同的通信、故障处理或部署条件。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第 8 章 多个厨师一锅饭:线程安全 · 查看原书依据
映射使日志分析系统能够并发处理独立的日志数据块(通常是在分布式网络的多台机器上),并生成中间结果。归约步骤收集结果,并计算出最终的聚合结果。本章开头提到的Fork/Join框架就是该思想的一个变种,是
参考来源
- 位置:《你真的会写代码吗-2021》第8章《多个厨师一锅饭:线程安全》(来源项目book-sources:`extracted/你真的会写代码吗-2021/_epub-src/OEBPS/Text/0018.xhtml`)
- 结论依据:原文以“映射使日志分析系统能够并发处理独立的日志数据块”所在的机制、例子或限制条件支撑本文;适用边界及读者推导在正文中单独说明。
- 原始内容:映射使日志分析系统能够并发处理独立的日志数据块(通常是在分布式网络的多台机器上),并生成中间结果。归约步骤收集结果,并计算出最终的聚合结果。本章开头提到的Fork/Join框架就是该思想的一个变种,是