知识卡片
采集网关可靠投递
这张卡记录的是书中约2015年的Kafka接入条件:当时该采集链路没有可直接使用的exactly-once能力,某音乐公司的网关便把发送结果分为写入成功、可安全重试和不可安全重试三类。客户端未收到成功响应时重试;网关对可安全重试的数据先落Redis、失败时再落磁盘;对“可能已写入、也可能未写入”的超时结果则写入容错topic,避免直接重试掩盖重复风险。普通topic按该设计提供at-most-once视图,合并容错topic后追求at-least-once,再用接收量、成功发送量和本地缓存量监控异常。
这里的“Kafka不提供exactly once”只能理解为原案例的版本与链路边界,不能当作今天Kafka的绝对结论。Kafka 0.11以后提供幂等生产者和事务,Kafka Streams也能在Kafka输入、状态存储与Kafka输出这一限定范围内提供exactly-once处理语义;一旦链路包含不受同一事务约束的外部副作用,仍要逐段核对连接器与下游语义。这个案例真正可复用的是:对不确定写入结果分类,并为每一类设计可验证的补偿路径。
结构图:
flowchart TB
X["书中约2015年的Kafka接入链路\n本图只表示该案例语义"] --> A["SDK/客户端发送数据"]
A --> B["数据采集网关"]
B -->|"收到即返回成功"| A
A -->|"未收到成功响应"| A2["SDK端重试\n(JS/Flash端无此能力)"]
B --> C["网关向Kafka发送数据"]
C --> D{"发送结果状态"}
D -->|"Kafka写入成功"| E["完成"]
D -->|"可安全重试\n(Kafka确定未收到)"| F["网关本地缓存\n(优先Redis,降级磁盘)"]
F --> C
D -->|"不可安全重试\n(网络超时/迁移超时)"| G["写入容错topic"]
E --> H["案例中的正常topic\nat-most-once视图"]
G --> I["合并容错topic\n追求at-least-once"]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《高可用架构(第1卷)》第6章《大数据与数据库》"6.1 某音乐公司的大数据实践"节,"6.1.2 某音乐公司大数据技术架构"(源文件:_epub-src/OEBPS/Text/Chapter6_1_3.xhtml)
- 结论依据:原文详细说明"每次发送数据区分为3种状态:Kafka写入成功……可以安全重试……不可安全重试……网关为保障数据的准确性,采用以下策略:可安全重试的,由网关本地缓存……不可安全重试的,将进入指定容错topic……通过以上策略,确保能在正常topic里提供at most once保障,算上容错topic提供at least once保障",直接支撑本卡片结论与结构图。
- 原始内容:每次发送数据区分为3种状态:Kafka写入成功(2份)。可以安全重试(Kafka肯定没收到)。不可安全重试(Kakfa可能写入了或者没有)。网关为保障数据的准确性,采用以下策略:可安全重试的,由网关本地缓存,再发送Kafka……不可安全重试的,将进入指定容错topic。
- 时效性说明:Apache Kafka官方文档说明,0.11.0.0起加入幂等和事务能力;Kafka Streams的exactly-once保证覆盖Kafka输入offset、状态存储与Kafka输出的原子提交,不自动涵盖任意外部副作用。https://kafka.apache.org/35/documentation/streams/core-concepts/