返回主题:Lambda架构与数据系统分层

知识卡片

结构图卡 · 1783.c.1

Lambda Architecture:批处理层+流式处理层+服务层的互补设计

理解等级:未标注

Lambda Architecture(Twitter工程师Nathan Marz提出)要解决的核心矛盾是[[大数据六层技术体系分层架构]]中提到的”吞吐率与延迟不可兼得”:批处理层把数据流当成只读、仅追加的超大数据集,一次性做复杂计算(如机器学习模型迭代),优点是吞吐率高,缺点是延迟通常是分钟到小时级别;书中示例的流式处理层用较简单的算法换取毫秒或秒级延迟,结果多为近似解;服务层则是两者的粘合层,对外提供统一访问接口,让上层应用不用关心结果到底来自批处理的精确计算还是流式处理的近似计算,只需要”最终一致”。这套架构的价值不在于消除矛盾,而是承认矛盾无法被单一系统解决后,用”分层、各自发挥所长、再统一暴露”的方式把矛盾转移到架构设计层面。作者用推荐系统案例具象化这套架构:所有数据统一流入Kafka后按时间粒度分流——批处理层拿全部历史数据(存于HDFS/HBase)做完整的特征工程与模型训练(用MapReduce/Spark),产出最优模型但延迟是分钟到小时级;流式处理层专门解决”新用户冷启动”问题,实时收集用户行为、用简单算法(Storm/Spark Streaming)快速产出近似推荐结果。可迁移启发:当一个系统同时需要”准而慢”和”快而糙”两种能力时,不必强求一个组件兼顾两者,可以拆成两条独立链路、用服务层做统一收口,让每条链路只优化自己那一个维度。

结构图:

flowchart LR
  A["原始数据流<br/>(如统一流入Kafka)"] --> B["批处理层<br/>全量历史数据/复杂计算<br/>高吞吐,分钟-小时级延迟"]
  A --> C["书中示例的流式处理层<br/>实时增量数据/简单算法<br/>低延迟(毫秒-秒级),近似解"]
  B --> D["服务层<br/>统一访问接口<br/>整合两层结果,最终一致"]
  C --> D
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据技术体系详解:原理、架构与实践》第1章《企业级大数据技术体系概述》之"1.4 大数据架构:Lambda Architecture"(源文件:_epub-src/OEBPS/text00008.html) - 结论依据:原文说明"LA主要思想是将数据处理流程分解成三层:批处理层、流式处理层和服务层……批处理层……优点是吞吐率高,缺点是数据处理延迟高……流式处理层……优点是数据处理延迟低,缺点是无法进行复杂的逻辑计算,得到的结果往往是近似解……服务层……整合两层的计算结果",并用推荐系统数据流水线案例具体展开,直接支撑本卡结构图与结论。 - 原始内容:为了解决推荐系统中的冷启动问题(新用户推荐问题),往往会引入流式处理层:它会实时收集用户的行为,并基于这些行为数据通过简单的推荐算法(通常使用Storm/Spark Streaming实现)快速产生推荐结果并存储起来。