知识卡片
重播旧消息
AMQP/JMS 代理中,确认消息是破坏性操作,消息随即被删除,重跑消费者无法得到相同结果。基于日志的代理则不同:消费像读文件,是只读操作,唯一的副作用是偏移量前移,而偏移量由消费者控制,可以用昨天的偏移量再起一个消费者,用新代码重复处理同一段历史。这正是[[不可变输出与人类容错]]的哲学在流处理中的翻版:衍生数据经可重复的转换与输入分离,便于实验,也便于在组织内集成数据流。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第十一章:流处理
原书出处 · 1 处
- 第十一章:流处理 · 查看原书依据
这一方面使得基于日志的消息传递更像上一章的批处理,其中衍生数据通过可重复的转换过程与输入数据显式分离。
参考来源
- 位置:《数据密集型应用系统设计》第十一章《流处理》"重播旧消息"(源文件:_epub-src/ch11_split_002.html)
- 结论依据:原文对比AMQP/JMS消费消息的破坏性(确认后删除、新消费者收不到历史消息)与基于日志消费的只读特性(偏移量可操纵、可重复重播),并指出这使基于日志的消息传递更像批处理里可重复的转换过程,直接支撑本卡片结论。
- 原始内容:在基于日志的消息代理中,使用消息更像是从文件中读取数据:这是只读操作,不会更改日志……这一方面使得基于日志的消息传递更像上一章的批处理,其中衍生数据通过可重复的转换过程与输入数据显式分离。