知识卡片

操作参考卡 · 9908.b · 生成模型:Hunyuan

Kappa架构以流代批

理解等级:中级

Kappa 架构为解决 Lambda 的代码冗余而生,秉持“一切皆是流”的原则,把离线批处理也当作时间窗口更大的流处理来执行。它不在系统里维护两套计算逻辑,而是在流处理框架上补两条通路:原始数据存储把未经处理的日志原封不动落到分布式文件系统,数据重播再按时间顺序用同一套流处理框架重算,从而在离线环境完成批处理。这样批流彻底共享逻辑,架构更简洁优美。落地难点在于数据回放的效率,以及批处理和流处理操作能否完全共享,因此业界仍以 Lambda 为主但逐渐向 Kappa 靠拢。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第6章 深度学习推荐系统的工程实现 · 查看原书依据

      “原始数据存储”将未经流处理的数据或者日志原封不动地保存到分布式文件系统中,“数据重播”将这些原始数据按时间顺序进行重播,并用同样的流处理框架进行处理,从而完成离线状态下的数据批处理。

    参考来源

    - 位置:《深度学习推荐系统》第6章 深度学习推荐系统的工程实现(源文件:extracted/深度学习推荐系统/_epub-src/text/part0010_split_001.html) - 结论依据:原文说明 Kappa 以 Everything is streaming 为原则,并通过原始数据存储与数据重播两条通路实现离线批处理,同时承认回放效率与批流逻辑共享仍是工程难点。 - 原始内容:“原始数据存储”将未经流处理的数据或者日志原封不动地保存到分布式文件系统中,“数据重播”将这些原始数据按时间顺序进行重播,并用同样的流处理框架进行处理,从而完成离线状态下的数据批处理。