知识卡片
统一批流的三项能力
针对[[Lambda架构的问题]],更新的思路是在同一系统中实现批处理与流计算,需要三项能力。一是用同一引擎重播历史事件,如[[重播旧消息]]所述的日志代理,或让流处理器直接读取 HDFS。二是恰好一次语义。三是按事件时间而非处理时间开窗,因为重新处理历史时处理时间毫无意义。这把批重新定义为有界的流,而非把流当作加速的批。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第十二章:数据系统的未来 · 查看原书依据
按事件时间进行窗口化的工具,而不是按处理时间进行窗口化
参考来源
- 位置:《数据密集型应用系统设计》第十二章《数据系统的未来》"统一批处理和流处理"(源文件:_epub-src/ch12_split_002.html)
- 结论依据:原文列举重播历史事件能力、恰好一次语义、按事件时间窗口化三项统一批处理与流处理所需的功能,并给出基于日志消息代理与Apache Beam的具体实现例子,直接支撑本卡片结论。
- 原始内容:通过处理最近事件流的相同处理引擎来重播历史事件的能力……对于流处理器来说,恰好一次语义……按事件时间进行窗口化的工具,而不是按处理时间进行窗口化