返回主题:Lambda架构与数据系统分层

知识卡片

普通读书笔记卡 · 2280.s.7

统一批流的三项能力

理解等级:未标注

针对[[Lambda架构的问题]],更新的思路是在同一系统中实现批处理与流计算,需要三项能力。一是用同一引擎重播历史事件,如[[重播旧消息]]所述的日志代理,或让流处理器直接读取 HDFS。二是恰好一次语义。三是按事件时间而非处理时间开窗,因为重新处理历史时处理时间毫无意义。这把批重新定义为有界的流,而非把流当作加速的批。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据密集型应用系统设计》第十二章《数据系统的未来》"统一批处理和流处理"(源文件:_epub-src/ch12_split_002.html) - 结论依据:原文列举重播历史事件能力、恰好一次语义、按事件时间窗口化三项统一批处理与流处理所需的功能,并给出基于日志消息代理与Apache Beam的具体实现例子,直接支撑本卡片结论。 - 原始内容:通过处理最近事件流的相同处理引擎来重播历史事件的能力……对于流处理器来说,恰好一次语义……按事件时间进行窗口化的工具,而不是按处理时间进行窗口化