知识卡片

结构图卡 · 4278.a

采集网关可靠投递

理解等级:高级

这张卡记录的是书中约2015年的Kafka接入条件:当时该采集链路没有可直接使用的exactly-once能力,某音乐公司的网关便把发送结果分为写入成功、可安全重试和不可安全重试三类。客户端未收到成功响应时重试;网关对可安全重试的数据先落Redis、失败时再落磁盘;对“可能已写入、也可能未写入”的超时结果则写入容错topic,避免直接重试掩盖重复风险。普通topic按该设计提供at-most-once视图,合并容错topic后追求at-least-once,再用接收量、成功发送量和本地缓存量监控异常。

这里的“Kafka不提供exactly once”只能理解为原案例的版本与链路边界,不能当作今天Kafka的绝对结论。Kafka 0.11以后提供幂等生产者和事务,Kafka Streams也能在Kafka输入、状态存储与Kafka输出这一限定范围内提供exactly-once处理语义;一旦链路包含不受同一事务约束的外部副作用,仍要逐段核对连接器与下游语义。这个案例真正可复用的是:对不确定写入结果分类,并为每一类设计可验证的补偿路径。

结构图:

flowchart TB
    X["书中约2015年的Kafka接入链路\n本图只表示该案例语义"] --> A["SDK/客户端发送数据"]
    A --> B["数据采集网关"]
    B -->|"收到即返回成功"| A
    A -->|"未收到成功响应"| A2["SDK端重试\n(JS/Flash端无此能力)"]
    B --> C["网关向Kafka发送数据"]
    C --> D{"发送结果状态"}
    D -->|"Kafka写入成功"| E["完成"]
    D -->|"可安全重试\n(Kafka确定未收到)"| F["网关本地缓存\n(优先Redis,降级磁盘)"]
    F --> C
    D -->|"不可安全重试\n(网络超时/迁移超时)"| G["写入容错topic"]
    E --> H["案例中的正常topic\nat-most-once视图"]
    G --> I["合并容错topic\n追求at-least-once"]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《高可用架构(第1卷)》第6章《大数据与数据库》"6.1 某音乐公司的大数据实践"节,"6.1.2 某音乐公司大数据技术架构"(源文件:_epub-src/OEBPS/Text/Chapter6_1_3.xhtml) - 结论依据:原文详细说明"每次发送数据区分为3种状态:Kafka写入成功……可以安全重试……不可安全重试……网关为保障数据的准确性,采用以下策略:可安全重试的,由网关本地缓存……不可安全重试的,将进入指定容错topic……通过以上策略,确保能在正常topic里提供at most once保障,算上容错topic提供at least once保障",直接支撑本卡片结论与结构图。 - 原始内容:每次发送数据区分为3种状态:Kafka写入成功(2份)。可以安全重试(Kafka肯定没收到)。不可安全重试(Kakfa可能写入了或者没有)。网关为保障数据的准确性,采用以下策略:可安全重试的,由网关本地缓存,再发送Kafka……不可安全重试的,将进入指定容错topic。 - 时效性说明:Apache Kafka官方文档说明,0.11.0.0起加入幂等和事务能力;Kafka Streams的exactly-once保证覆盖Kafka输入offset、状态存储与Kafka输出的原子提交,不自动涵盖任意外部副作用。https://kafka.apache.org/35/documentation/streams/core-concepts/