知识卡片
多批处理层
内容
多个批处理层可以按时间尺度分工：低频全量层负责最终纠错，中频增量层缩短服务层滞后，速度层只补最近缺口。每一层都在减轻上一层的复杂度和状态规模。
参考来源
- 位置：《大数据系统构建：可扩展实时数据系统构建原理与最佳实践》第18章《深入Lambda架构》"18.2.1 增量的批处理"末段（源文件：_epub-src/OEBPS/Text/127.xhtml）
- 结论依据：原文举例"你可以有一个每月完成一次的基于完全重新计算的批处理层；然后你可以有一个增量批处理层——它只操作没有表示在完全重新计算的批处理层中的数据，可能每6h运行一次；然后你将有一个速度层，可以弥补所有没有表示在两个批处理层中的数据"，并说明"每一层都对其上面那一层放宽了需求"。
- 原始内容：不是仅仅拥有一个批处理层和一个弥补批处理层延迟的速度层，而是可以有多个批处理层……在基本Lambda架构中，批处理层放宽了对速度层的性能需求。同样地，对于多个批处理层，每一层都对其上面那一层放宽了需求……拥有多个批处理层的另一个优势是，它可以有助于获得增量和重新计算两者的优势。