返回主题:批处理作业的写法:连接、聚合与作业抽象

知识卡片

普通读书笔记卡 · 1786.c.1

逻辑模块不等于物理作业

理解等级:中级

原生MapReduce把计算逻辑与物理作业绑定:每拆一个模块就开一个作业,会增加中间文件、调度、磁盘和网络开销;把功能全塞进一个方法又难维护。逻辑管道图把模块边界与执行边界分开,编译器可把相容操作合并到同一map或reduce阶段,使代码组合不必等于运行更多作业。

与[[管道图思维]]的联系:逻辑管道编译避免把每个模块机械变成独立物理作业。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大数据系统构建:可扩展实时数据系统构建原理与最佳实践》第6章《批处理层》(来源项目book-sources;源文件:extracted/大数据系统构建:可扩展实时数据系统构建原理与最佳实践/_epub-src/OEBPS/Text/050.xhtml) - 结论依据:原文对比多作业模块化与方法内混合逻辑,随后以管道编译解除二选一。 - 原始内容:将完全模块化的代码编译成最佳物理执行。