知识卡片

结构图卡 · 9908.a · 生成模型:Hunyuan

Lambda架构流批双通道

理解等级:中级

Lambda 架构在数据采集阶段就把数据通道裂变为实时流与离线处理两条分支。实时流保持流计算做增量运算,保障数据实时性;离线层用批处理做全量运算,保障最终一致性与特征丰富性。在写入最终数据库前,系统会把实时与离线结果合并,并用离线数据对实时流做校检纠错,这是它的关键步骤。它兼具实时性与全面性,长期是业界主流框架,但两条流程存在大量逻辑冗余,需要重复编码、浪费计算资源,这催生了进一步融合的架构。

结构图:

flowchart LR
    A[数据收集] --> B[实时流]
    A --> C[离线批处理]
    B --> D[增量计算 保障实时]
    C --> E[全量计算 保障一致]
    D --> F[结果合并与校检纠错]
    E --> F
    F --> G[最终数据库]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第6章 深度学习推荐系统的工程实现 · 查看原书依据

      Lambda 架构的数据通道从最开始的数据收集阶段裂变为两条分支:实时流和离线处理。实时流部分保持了流计算架构,保障了数据的实时性,而离线处理部分则以批处理的方式为主,保障了数据的最终一致性,为系统提供了更多数据处理的选择。

    参考来源

    - 位置:《深度学习推荐系统》第6章 深度学习推荐系统的工程实现(源文件:extracted/深度学习推荐系统/_epub-src/text/part0010_split_001.html) - 结论依据:原文明确描述 Lambda 的数据通道裂变为实时流和离线处理两条分支,并强调合并与用离线数据校检纠错这一重要步骤,同时指出两条流程逻辑冗余的问题。 - 原始内容:Lambda 架构的数据通道从最开始的数据收集阶段裂变为两条分支:实时流和离线处理。实时流部分保持了流计算架构,保障了数据的实时性,而离线处理部分则以批处理的方式为主,保障了数据的最终一致性,为系统提供了更多数据处理的选择。