知识卡片

普通读书笔记卡 · 2744.c

精确一次靠框架保证

理解等级:未标注

流处理对每条消息的处理承诺分三档:至多一次,可能丢;至少一次,可能重复;精确一次,不丢也不重。多数业务只希望每条消息处理一次,精确一次最理想,书中选择 Flink 的一个原因就是它的容错机制能保证这一点。推论:精确一次依赖框架在检查点和状态管理上的系统设计,业务代码很难靠重试自己补出来,选型时应作为硬条件。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《从程序员到架构师:大数据量、缓存、高并发、微服务、多团队协同等核心场景实战》第6章《数据收集》(源文件:_epub-src/Cong Cheng Xu Yuan Dao Jia Gou Shi _Da Shu Ju Liang , Huan Cun , Gao Bing Fa , Wei Fu Wu , Duo Tuan Dui Xie Tong Deng He Xin Chang Jing Shi Zhan_split_007.html) - 结论依据:原文说明流处理的容错机制分At-Most-Once(可能丢失)、Exactly-Once(只处理一次)、At-Least-Once(可能重复消费);Exactly-Once是最优选择,Apache Flink的容错机制可保证所有消息只处理一次,这是选Flink的原因之一。“业务层难以自行补出”为卡片推论。 - 原始内容:1)At-Most-Once:至多一次,表示一条消息不管后续处理成功与否只会被消费处理一次,存在数据丢失的可能。……3)At-Least-Once:至少一次,表示一条消息从消费到后续的处理成功可能会发生多次,存在重复消费的可能。……而Apache Flink的容错机制就可以保证所有消息只处理一次(Exactly-Once)的一致性