知识卡片
Kappa架构以流代批
Kappa 架构为解决 Lambda 的代码冗余而生,秉持“一切皆是流”的原则,把离线批处理也当作时间窗口更大的流处理来执行。它不在系统里维护两套计算逻辑,而是在流处理框架上补两条通路:原始数据存储把未经处理的日志原封不动落到分布式文件系统,数据重播再按时间顺序用同一套流处理框架重算,从而在离线环境完成批处理。这样批流彻底共享逻辑,架构更简洁优美。落地难点在于数据回放的效率,以及批处理和流处理操作能否完全共享,因此业界仍以 Lambda 为主但逐渐向 Kappa 靠拢。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第6章 深度学习推荐系统的工程实现 · 查看原书依据
“原始数据存储”将未经流处理的数据或者日志原封不动地保存到分布式文件系统中,“数据重播”将这些原始数据按时间顺序进行重播,并用同样的流处理框架进行处理,从而完成离线状态下的数据批处理。
参考来源
- 位置:《深度学习推荐系统》第6章 深度学习推荐系统的工程实现(源文件:extracted/深度学习推荐系统/_epub-src/text/part0010_split_001.html)
- 结论依据:原文说明 Kappa 以 Everything is streaming 为原则,并通过原始数据存储与数据重播两条通路实现离线批处理,同时承认回放效率与批流逻辑共享仍是工程难点。
- 原始内容:“原始数据存储”将未经流处理的数据或者日志原封不动地保存到分布式文件系统中,“数据重播”将这些原始数据按时间顺序进行重播,并用同样的流处理框架进行处理,从而完成离线状态下的数据批处理。