知识卡片

结构图卡 · 3108.e.1

Kafka acks:可控可靠性级别的三档权衡

理解等级:未标注

Kafka没有把”写入确认应该多严格”这个决策写死,而是书中以旧参数request.required.acks说明三档确认;当前Producer以acks配置选择确认级别,让写性能和数据可靠性之间的权衡显式化、可配置化。设为0时,Producer发送消息后立即返回、不等待任何确认,无需等待确认,但不能据此保证消息已被 Broker 接收或持久化,出问题可能悄无声息地丢数据。设为1时,只要leader partition写成功就返回,不等待follower同步完成——在效率和可靠性之间做了折中,可确认 leader 已接收并追加消息,但不等于已完成副本同步或磁盘刷写,但如果leader刚写完就故障、follower还没来得及同步,这条消息仍可能丢失。设为-1时,Leader等待当前同步副本集合(ISR)确认后才返回,并受min.insync.replicas的最小确认数约束;若同步副本不足则写入失败,等待同步副本也会增加延迟。这三档背后的普遍规律是:提高确认要求通常以额外等待换取更强的副本确认保证,写性能和数据安全性天然是一对此消彼长的旋钮,不存在同时拿到”最快”和”最安全”的免费选项。可迁移启发:设计任何需要写入确认的分布式系统接口时,与其固定一个中庸的默认策略,不如像Kafka这样把确认级别做成显式可调参数,让不同业务场景(如日志采集可以接受偶尔丢一条 vs 关键交易记录需要更严格的可靠性目标)各自选择适合自己的那一档。

结构图:

flowchart LR
  A["request.required.acks"]
  A --> B["acks=0<br/>不等确认<br/>性能最高/可能丢数据"]
  A --> C["acks=1<br/>等leader写成功<br/>折中:至少写入一个节点"]
  A --> D["acks=-1<br/>等当前ISR确认且满足min.insync.replicas<br/>确认更严/可能增加延迟"]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据技术体系详解:原理、架构与实践》第4章《分布式消息队列Kafka》之"4.2 Kafka设计架构"(源文件:_epub-src/OEBPS/text00028.html) - 结论依据:原文说明"在实际系统中,写性能和可靠性级别是两个此消彼长的指标,当可靠性级别较高时(每条消息确保成功写入多个副本),写性能则会降低……目前Kafka支持三种消息应答方式,可通过参数request.required.acks控制:0:无需对消息进行确认……1:当Producer向Broker发送消息后,需等到leader partition写成功后才会返回……-1:当Producer向Broker发送消息后,需等到所有Partition均写成功后才会返回",提供三档确认的出版时背景;当前 ISR 与最小同步副本条件按下列 Kafka 官方配置核验。 - 原始内容:如果你设置的消息副本数大于1,这意味消息被成功写入多个节点,容错性比前一种方案优,但写性能要低,尤其是当某个节点写入较慢时,会导致整个写操作延迟很高。 - 外部核验:Apache Kafka [Producer acks 配置](https://kafka.apache.org/40/generated/producer_config.html)说明 `acks=all/-1` 等待当前 ISR 确认;[Topic min.insync.replicas 配置](https://kafka.apache.org/40/generated/topic_config.html)规定最少确认副本数。书中 `request.required.acks` 和“所有副本”是出版时表述,不作当前配置保证。