知识卡片
逻辑模块不等于物理作业
原生MapReduce把计算逻辑与物理作业绑定:每拆一个模块就开一个作业,会增加中间文件、调度、磁盘和网络开销;把功能全塞进一个方法又难维护。逻辑管道图把模块边界与执行边界分开,编译器可把相容操作合并到同一map或reduce阶段,使代码组合不必等于运行更多作业。
与[[管道图思维]]的联系:逻辑管道编译避免把每个模块机械变成独立物理作业。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- · 查看原书依据
将完全模块化的代码编译成最佳物理执行。
参考来源
- 位置:《大数据系统构建:可扩展实时数据系统构建原理与最佳实践》第6章《批处理层》(来源项目book-sources;源文件:extracted/大数据系统构建:可扩展实时数据系统构建原理与最佳实践/_epub-src/OEBPS/Text/050.xhtml)
- 结论依据:原文对比多作业模块化与方法内混合逻辑,随后以管道编译解除二选一。
- 原始内容:将完全模块化的代码编译成最佳物理执行。