知识卡片

普通读书笔记卡 · 2280.s.6

Lambda架构的问题

理解等级:未标注

Lambda 架构把输入记为不可变事件流,并行运行批处理系统如 Hadoop 和流处理系统如 Storm:流处理快速给出近似结果,批处理随后给出精确更正。它推广了在不可变事件上建衍生视图的原则,但有三个问题:同一逻辑要在两套框架中维护;两条管道的输出要合并,连接、会话化等复杂操作难以合并;全量重跑代价高,实践中批处理改为增量批次,又引入滞留事件等时间推理问题,违背了保持批处理层简单的初衷。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据密集型应用系统设计》第十二章《数据系统的未来》"Lambda架构"(源文件:_epub-src/ch12_split_002.html) - 结论依据:原文描述Lambda架构并行运行批处理与流处理系统、分别生成精确与近似衍生视图的核心思想,并列举维护重复逻辑的额外工作、合并独立输出的困难、增量批处理引入时间推理复杂度三个实际问题,直接支撑本卡片结论。 - 原始内容:为了从这些事件中衍生出读取优化的视图, Lambda架构建议并行运行两个不同的系统:批处理系统(如Hadoop MapReduce)和独立的流处理系统(如Storm)。……在批处理和流处理框架中维护相同的逻辑是很显著的额外工作……由于流管道和批处理管道产生独立的输出,因此需要合并它们……这引发了“时间推理”中讨论的问题,例如处理滞留事件和处理跨批次边界的窗口。