知识卡片

Lambda三层

普通读书笔记卡 · 1783.c

内容

Lambda 架构把系统拆成批处理层、服务层和速度层:批处理层用不可变全量数据生成权威视图,服务层低延迟查询这些视图,速度层补齐最新数据。它用结构分工换取简单性和可恢复性。

参考来源

- 位置:《大数据系统构建:可扩展实时数据系统构建原理与最佳实践》第1章《大数据的新范式》"1.7 Lambda架构"一节(源文件:_epub-src/OEBPS/Text/014.xhtml) - 结论依据:原文明确"Lambda架构中实现batch view=function(all data)等式的这部分被称为批处理层。批处理层存储数据集的主副本,并在主数据集上预先计算批处理视图",随后说明服务层负责索引查询批处理视图、速度层补齐新数据的延迟缺口,三层各司其职、逐层构建。 - 原始内容:Lambda架构的主要思想是将大数据系统建立为一系列的层……每一层满足属性的一个子集,且通过该层的下一层所提供的功能来构建……Lambda架构中实现batch view=function(all data)等式的这部分被称为批处理层。批处理层存储数据集的主副本,并在主数据集上预先计算批处理视图……批处理层需要能够做两件事:存储不可变的、不断增长的主数据集;在该数据集上运行任意函数。