知识卡片

合并查询逻辑

普通读书笔记卡 · 1792.e

内容

查询层需要把批处理视图和实时视图合并成一个结果,因此两边的口径必须一致。把共享逻辑抽成同一套函数或模型,可以减少“离线正确、实时偏差”的双轨维护风险。

参考来源

- 位置:《大数据系统构建:可扩展实时数据系统构建原理与最佳实践》第18章《深入Lambda架构》"18.4 查询层"一节(源文件:_epub-src/OEBPS/Text/129.xhtml) - 结论依据:原文明确"查询层……确定了从每个视图中使用什么以及如何将它们合并在一起来得到合适的结果",并以生日推理为例说明批处理层需处理混乱数据、速度层用简化增量算法生成范围,"为了便于合并,视图必须是结构化的……如何构建视图使得它们可以合并,是实现Lambda架构时必须做出的设计选项之一"。 - 原始内容:Lambda架构的最后一层是查询层,负责利用批处理层和实时视图来响应查询。它确定了从每个视图中使用什么以及如何将它们合并在一起来得到合适的结果……从这些例子中你可以很明显地知道,为了便于合并,视图必须是结构化的……如何构建视图使得它们可以合并,是实现Lambda架构时必须做出的设计选项之一。