知识卡片

Lambda双链路代价

专业/工作 · 499.f

内容

Lambda 架构用批处理层保证准确结果,用流处理层提供近似实时结果,再用服务层合并查询。它解决早期流引擎不可靠的问题,但代价是两套链路并存。发散:双写双算常常把技术债包装成架构稳妥。

参考来源

- 位置:《Flink原理与实践》第1章《大数据技术概述》(源文件:_epub-src/OEBPS/Text/chapter04.xhtml) - 结论依据:原文围绕“Lambda架构中,出现了批处理和流处理并存的现象”给出定义、流程、对比或限制条件,本卡片据此提炼其可迁移的框架机制,并补充了使用边界或工程启发。 - 原始内容:,流处理层无法直接取代批处理层,只能给用户提供一个近似结果,还不能为用户提供一个一致准确的结果。因此Lambda架构中,出现了批处理和流处理并存的现象。 3.在线服务层 在线服务层直接面向用户的特定请求,需要将来自批处理层准确但有延迟的预处理结果和流处理层实时但不够准确的预处理结果做融合。在融合过程……