知识卡片
管道图思维
内容
批处理作业可以看成从原始事实到多个视图的管道图，每个节点都是确定性转换。用图来思考能暴露依赖、复用中间结果，并帮助判断某个变化会影响哪些视图。
参考来源
- 位置：《大数据系统构建：可扩展实时数据系统构建原理与最佳实践》第6章《批处理层》"6.7 管道图——一种关于批处理计算的高级思维方式"（源文件：_epub-src/OEBPS/Text/051.xhtml）
- 结论依据：原文明确"管道图的关键点之一是，字段一旦被创建，就不可变"，并说明其由方法、过滤器、聚合器、连接和合并等确定性转换组成，"可以被直接编译为一系列MapReduce作业来执行"，用图思考能让人"专注于所要解决的示例问题的具体算法和数据处理转换，而不陷入具体工具的细节中"。
- 原始内容：管道图只是使我们能够在Lambda架构中专注于批量计算，而不迷失在MapReduce伪代码的细节中……如上所示，管道图的关键点之一是，字段一旦被创建，就不可变……虽然管道图是一种关于批量计算的高级思维方式，但它们可以被直接编译为一系列MapReduce作业，这意味着它们能够以可扩展的方式来执行。