Kafka分区定序
Kafka共识组件不自己实现排序算法,而是把每个通道映射为Kafka的一个主题、固定使用分区0,每个Orderer既是生产者也是消费者:把收到的交易发进同一分区,再按偏移量顺序读回。Kafka保证单分区内消息严格有序,所有Orderer读到的顺序自然一致,共识问题转交给了Kafka。因此它只具备崩溃容错能力,不能容忍拜占庭节点。
主题对照
比较全序与分区内有序的边界、序号与单写者怎样维持顺序,以及延时消息、时间轮和迟到事件的处理方式。
Kafka共识组件不自己实现排序算法,而是把每个通道映射为Kafka的一个主题、固定使用分区0,每个Orderer既是生产者也是消费者:把收到的交易发进同一分区,再按偏移量顺序读回。Kafka保证单分区内消息严格有序,所有Orderer读到的顺序自然一致,共识问题转交给了Kafka。因此它只具备崩溃容错能力,不能容忍拜占庭节点。
追加且不可变的事件日志保存事件顺序,使消费者可从指定位置重放并重建状态。使用 Kafka 时还要明确主题分区及分区内有序的边界,不能把跨分区顺序当作保证。
消费顺序与发布顺序一致只在理想条件下成立:发送确认失败后的补偿重发、不同TTL构成的延迟队列、优先级队列、多消费者下拒绝后重新入队,都会打乱顺序。顺序性不是默认承诺,要业务自己争取,例如在消息体里加全局有序标识,由消费端处理。
所有消息写进同一份CommitLog,子文件默认1GB、Offset连续,总是追加到最后一个文件,把随机写变成顺序写。消息先写入操作系统Page Cache再定时刷盘,读写经MappedByteBuffer内存映射完成,省去内核态与用户态之间的拷贝。借用文件系统已有能力换吞吐,而不在应用层另造缓存。
RocketMQ的顺序是分区有序:同一分区内的消息按FIFO保存和消费,不同分区之间不保证顺序;把Topic分区数设为1就退化为全局有序。分区越多并发越强,顺序范围越窄。需要顺序时先划清顺序边界,如按用户ID路由到同一分区,而不是整个Topic改成全局有序。
局部顺序靠发送端和消费端配合:发送端用MessageQueueSelector按业务ID(如订单号)把同组消息发到同一个Message Queue;消费端用MessageListenerOrderly为每个队列加锁,消费前先拿锁,同一队列不并发、不同队列仍可并行。它回答了[[顺序只需局部]]如何做到:顺序边界就是队列边界。
顺序消息不必总追求全局顺序,很多业务只要求同一业务键内有序,如同一订单的创建、付款、发货。局部顺序能保留跨队列并发,避免把整个 Topic 收缩成单通道瓶颈;实现方式见[[局部顺序靠选队列加锁]]。
消息 ID 应唯一且能支持所需顺序,单靠创建时间可能遇到同一时刻多条消息。若只要求频道内有序,可采用局部序列;无需为不存在的全局顺序要求付出更多协调成本。
Kafka 高吞吐靠两个设计:消息以追加方式顺序写入分区日志,顺序写磁盘的效率甚至高于随机写内存;消费位置 offset 由消费者自己维护,可调小重新消费。于是 Broker 无需记录谁消费了哪条消息,也无需用锁保证组内只有一个消费者消费某条消息,成为无状态的。
Kafka选择把消息直接持久化到磁盘而非只留在内存,这个决策要成立,必须先解决”磁盘够不够快”的问题,作者用两个具体优化手段说明了如何解决。第一个是顺序写:书中给出一组旧测试:顺序写600MB/s、随机写100KB/s,相差6000倍;这个倍数仅适用于该测试环境,Kafka把每个partition的消息设计成只能”追加写入”、并靠offset顺序标识每条消息的位置,以追加写减少随机写开销;实际吞吐仍取决于设备、负载和刷盘及副本配置,这也是”直接写磁盘”和”必须写内存才够快”这个常见直觉相悖的地方——只要写入模式是顺序的,磁盘可以跑得比想象中快得多。第二个是zero-copy:一条消息从磁盘读出、经网络发给Consumer,传统路径要经过四次数据拷贝和两次系统调用(内核态读缓冲区→用户态应用程序缓冲区→内核态socket缓冲区→网卡缓冲区),zero-copy技术把”用户态应用程序缓冲区”这一跳去掉,让数据直接从内核态读缓冲区流向内核态socket缓冲区再到网卡,减少了一次拷贝和相应的系统调用开销。可迁移启发:这两个优化共享同一个思路——不是通过增加硬件或复杂算法解决性能问题,而是通过重新设计数据的写入/传输路径去匹配底层硬件(磁盘/网卡)本身最擅长的操作模式,往往比单纯堆资源更有效。
生产者与消费者独立上线时,不能假定某一方已先创建交换器、队列和绑定。可由双方按相同配置声明所需资源,或交给独立的配置管理模块预建。无论采用哪种方式,都须保持资源名称与属性一致,并在部署时验证声明冲突;目的在于把启动顺序从业务正确性条件中移除。
多机本地时钟不能直接给所有消息定序;不同发送方经网络到达的先后也可能与发出先后不同。即便先后到达,多接收节点或多线程处理仍可能改变完成顺序。系统须明确要维护的是发送、接收、处理还是展示顺序,以及其范围,不能把本地时间当作天然全局标尺。
群聊展示只要求同一群成员看到相同顺序,不必给全站消息排一个序。按 group_id 把同群消息送到同一定序服务,再分配该群局部序号,可让不同群并行,避开统一发号点。服务实例迁移或故障后,还须保持续号与路由唯一性,否则同群顺序会断裂。
讨论“消息有序”前,先确定业务采用哪一种先后标准:
标尺不同,客户端时钟、服务端序号和接收顺序的适用性也不同;没有唯一的跨业务全序。
消息保障分为至多一次(允许丢失、不重复)、至少一次(不丢失、允许重复)与恰好一次(既不丢也不重复)。消费端的保障取决于处理消息与提交位移的先后。先处理、后提交:若处理成功后进程在提交前宕机,恢复时仍从旧位移读取,产生重复处理。先提交、后处理:若提交后在处理前宕机,恢复时会跳过尚未处理的消息,形成丢失。这是对位移与处理顺序的分析,不能把“成功写入 broker”单独当作端到端恰好一次;还需考虑生产者重试和业务处理。参见 [[提交时机决定语义]]。
主题是消息的逻辑类别,可分成多个分区;每个分区是一份追加日志。消息写入分区时得到该分区内唯一的 offset,因此同一分区中的消息有确定顺序。不同分区各有自己的 offset 序列,Kafka 不据此保证整个主题的全局顺序。需要相关消息保持顺序时,必须让它们落在同一个分区。
同一分区的顺序并不只取决于发送顺序,还取决于未确认请求和重试行为。若多个请求同时在途,后发批次可能先成功,前发批次失败后重试再写入,最终形成乱序。需要严格顺序时,应限制 max.in.flight.requests.per.connection,并接受吞吐下降的代价。
Kafka 的磁盘性能不只来自“顺序写”口号,还来自多层合并:客户端批量、日志追加、页缓存、I/O 调度器都会尽量把零散请求组织成更连续的读写。理解这一点后,调优就不能只盯应用参数,还要看文件系统、调度策略和硬件特性。
作者自研消息中间件起初采用普通数据库存储消息,案例中读取约2000QPS;重构成本地磁盘存储后,利用页缓存、顺序读取和省去远程访问,案例读取QPS提升一个数量级。这是特定实现的比较,不能推出顺序磁盘必然比所有数据库快,也不能把历史数值当作当前容量承诺。存储选择应围绕消息访问模式及实测瓶颈。
消息被拒绝且不重新入队、过期或队列达到最大长度时成为死信;队列配置了DLX,死信会被重新发布到DLX,再路由到死信队列。AMQP和RabbitMQ本身不直接支持延迟队列,但把TTL和DLX组合即可模拟:消息在设了过期时间的队列里等待,到期转入死信队列,消费者订阅的正是后者。新需求可由旧机制串联拼出。
RocketMQ生产者的第一层容错是重试:同步、异步发送失败后都可重试,单个Broker故障时换其他Broker。第二层是发送延迟容错:客户端维护各Broker的发送延迟,优先选延迟低的,剔除宕机或延迟高的Broker。依据实际观测的表现做选择,比主动探活更贴近真实故障,也省去一套探活体系。
客户端每隔固定时间取一次消息时,刚完成取消息后产生的新消息,要等下一次请求才被发现。
缩短间隔可降低等待上限,却会增加无消息时的空请求。这个矛盾来自定时采样;[[长轮询挂起请求等待消息]]改为让请求等待事件发生。
linger.ms 允许生产者在发送 ProducerBatch 前等待更多记录加入。批次填满或等待时间届满,任一条件满足就发送;增大等待上限可能让低流量分区凑成更大批次、减少请求,也会增加消息等待时间。它控制“等多久”,batch.size 控制批次内存规格,两者作用不同;与 [[批次内存的复用边界]] 一起看,才不会把调大批次误当作无限等待。
结构图: 两个发送条件是“或”关系,图中任一分支都通向发送。
flowchart TD
A[记录加入 ProducerBatch] --> B{批次已填满}
B -- 是 --> E[发送批次]
B -- 否 --> C{等待已达 linger.ms}
C -- 是 --> E
C -- 否 --> D[继续等待后续记录]
D --> B
若延时等级的误差不可接受,本书提出把待投递消息放进单层文件时间轮:时间格代表一个时间单位,各格对应文件,指针走到格子时读取到期文件并转发到真实主题。以 1 秒一格、支持两小时为例,需要 7200 个格子/文件,但无需同时打开 7200 个文件;只加载指针附近文件,其他按需创建或重新加载。单层避免多层时间轮降级时在层间搬移文件内容和维护复杂锁。文件暂存缓解纯内存积压,多副本和后台清理用于处理单机失效,但会增加复制、清理与一致性工作。选型时以可接受误差和维护成本对照 [[延时等级换取可控误差]];这是书中设计方案,并非 Kafka 原生保证或已验证的生产部署。
Kafka 压测结果要先分清单位和计时范围。生产者输出同时给出 records/sec 与 MB/sec,前者是消息条数吞吐,后者是字节吞吐;平均延迟之外还应看最大值及 p95、p99、p99.9,避免高吞吐掩盖尾部慢请求。消费者输出也分别给出消息数与 MB 的消费速率,并单列再平衡耗时。书中 fetch.time.ms = end.time - start.time - rebalance.time.ms,所以拉取速率的计时范围排除了再平衡;比较两次结果时不能把这一口径误认为完整运行时长。
单层时间轮若覆盖很长时间范围,会浪费大量空槽并降低效率。Kafka 用层级时间轮承接远期任务:远期先放高层粗粒度槽,到期接近后再降级到低层细粒度槽。这个设计像钟表的时、分、秒,把大范围和高精度分层处理。
延时消息在指定时间之后才允许消费者获取;TTL(存活时间)到期的消息则不再交给正常业务处理。前者回答“何时开始可处理”,后者回答“何时停止有效”。例如下单后 30 分钟检查是否支付,检查任务应延后触发;如果该任务到期时已经失去业务意义,还可另设 TTL。两种时间条件可以并存,但不应把过期消息误认为还在等待延时。这里的延时队列是书中基于 Kafka 扩展实现的功能,不是原生 Kafka 队列。
延时操作并不只靠超时触发,还可能在条件满足时提前完成。比如等待足够副本确认或等待足够数据返回时,操作既有时间上限,也有业务条件。把“超时失败”和“条件完成”放进同一套延时框架,能避免线程阻塞式等待。
DelayService 从内部延时主题拉取消息,暂存到本地 DelayQueue,待再次投递时间到达后送往真实主题。如果未到期消息大量堆积而仍持续拉取,本地内存会增长;书中的保护办法是按分区计数,达到阈值便暂停该分区拉取。DelayQueue 按到期时间排序仍有必要:同一延时等级的单个分区内有序,多个分区之间却不保证到期时间有序。比如分区 A 的下一条在 30 秒到期、分区 B 的一条在 5 秒到期,服务应先发送 B;这是假设场景,用于解释跨分区排序。
本书 Kafka 2.0.0 的延时等级方案把消息先送到少量内部延时主题,DelayService 等待目标时间后再转发到消费者订阅的真实主题。按每秒建一个主题会随最大延时迅速放大分区、副本和日志资源;等级方案用粗粒度换取较少的主题。比如要求延时 17 秒而只设 10 秒和 30 秒等级时,按不早于目标的 30 秒等级投递,会多等 13 秒。这个误差上界取决于相邻等级间隔,不能宣称秒级精确。生产者到延时主题、服务到真实主题是两次投递,仍需设计失败重试和防重复处理;图示只是书中架构,未实际运行。
结构图:
flowchart LR
P[生产者] -->|按等级选择| D[内部延时主题]
D --> S[DelayService 等待到期]
S --> R[真实主题]
R --> C[消费者]
点击箭头逐层展开,点击卡片标题查看详情。路径上下文仅用于连接层级,不计入主题卡片数。
来源书籍
书籍类型:未标注
246 张卡片
来源书籍
软件架构方法论类
书籍类型:经典原理
清单覆盖 7/7
358 张卡片
来源书籍
源码分享类
书籍类型:工程实践
清单覆盖 8/8
45 张卡片
来源书籍
系统架构类
书籍类型:工程实践
清单覆盖 7/7
206 张卡片
来源书籍
消息中间件产品实战类
书籍类型:未标注
清单覆盖 9/9
53 张卡片
来源书籍
消息中间件产品实战类
书籍类型:工程实践
清单覆盖 6/8
35 张卡片
来源书籍
源码分享类
书籍类型:工程实践
清单覆盖 8/8
76 张卡片
来源书籍
源码分享类
书籍类型:工程实践
清单覆盖 8/8
35 张卡片
来源书籍
书籍类型:经典原理
125 张卡片
来源书籍
系统架构类
书籍类型:未标注
清单覆盖 6/6
92 张卡片
来源书籍
企业大数据建设类
书籍类型:工程实践
清单覆盖 7/7
102 张卡片
来源书籍
分布式系统类
书籍类型:工程实践
清单覆盖 3/6
125 张卡片
来源书籍
实时流计算系统类
书籍类型:未标注
清单覆盖 8/8
172 张卡片
来源书籍
数据工程与数据架构方法类
书籍类型:工程实践
类别清单尚未核对
145 张卡片
来源书籍
系统架构类
书籍类型:未标注
类别清单尚未核对
317 张卡片
来源书籍
书籍类型:工程实践
337 张卡片
来源书籍
系统架构类
书籍类型:工程实践
类别清单尚未核对
67 张卡片
来源书籍
系统架构类
书籍类型:工程实践
清单覆盖 7/7
442 张卡片
主题索引
比较关系型、键值、列式、文档与全文检索等存储模型的特性取舍与适用场景。
主题索引
比较分布式共识、领导者选举、副本数量与一致性模型的可靠性取舍。
主题索引
比较分库分片主键选择、分布式数据库选型与跨库关联查询的解法。
主题索引
比较负载均衡的分层组合方式与各类分配算法的取舍。
主题索引
跨进程互斥的分布式锁实现与取舍,以及全局唯一 ID 的生成方案和分布式计数。
主题索引
比较故障与失效、部分失效、网络与超时的不确定性、时钟漂移与进程暂停,以及系统模型如何界定这些假设。
与 3 张主题卡片存在结构化链接;来自相同书籍;属于相同分类
与 2 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类
与 2 张主题卡片存在结构化链接;来自相同书籍;属于相同分类
与 2 张主题卡片存在结构化链接;来自相同书籍;属于相同分类
与 2 张主题卡片存在结构化链接;来自相同书籍;属于相同分类
与 1 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类