返回主题:Lambda架构与数据系统分层

知识卡片

普通读书笔记卡 · 1783.c

Lambda三层

理解等级:未标注

Lambda 架构把系统拆成批处理层、服务层和速度层:批处理层用不可变全量数据生成权威视图,服务层低延迟查询这些视图,速度层补齐最新数据。它用结构分工换取简单性和可恢复性。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • · 查看原书依据

      批处理层存储数据集的主副本,并在主数据集上预先计算批处理视图

    参考来源

    - 位置:《大数据系统构建:可扩展实时数据系统构建原理与最佳实践》第1章《大数据的新范式》"1.7 Lambda架构"一节(源文件:_epub-src/OEBPS/Text/014.xhtml) - 结论依据:原文明确"Lambda架构中实现batch view=function(all data)等式的这部分被称为批处理层。批处理层存储数据集的主副本,并在主数据集上预先计算批处理视图",随后说明服务层负责索引查询批处理视图、速度层补齐新数据的延迟缺口,三层各司其职、逐层构建。 - 原始内容:Lambda架构的主要思想是将大数据系统建立为一系列的层……每一层满足属性的一个子集,且通过该层的下一层所提供的功能来构建……Lambda架构中实现batch view=function(all data)等式的这部分被称为批处理层。批处理层存储数据集的主副本,并在主数据集上预先计算批处理视图……批处理层需要能够做两件事:存储不可变的、不断增长的主数据集;在该数据集上运行任意函数。