来源书籍

从Paxos到Zookeeper:分布式一致性原理与实践

Skill 版本:v23 经典原理 310 张卡片

倪超 · 电子工业出版社 · 2015-02-01 · ISBN 9787121249679

全书导读

本书先解释分布式复制与事务为什么产生一致性问题,再进入提交和共识协议,随后将原理连接到ZooKeeper的使用、内部机制与运维。本书从业务结果出发,说明局部故障如何制造结果未知,再用提交、共识与ZAB解释副本如何形成共同历史。客户端、监听、会话与日志的工程细节决定这些承诺如何暴露给应用;最后以多数派部署、监控与恢复收束。API、源码和工具链以原书3.4.6时代为界。

全书主线

业务需要先确定什么结果不能出错。第1章区分事务完整性、隔离与复制读取模型,第2章分开协调提交与共识选值;第3–4章把一致日志落实为协调服务与ZAB。第5–6章用节点、版本、临时成员与监听组合应用方案,第7章展开请求从客户端到法定提交、存储和恢复的路径,第8章及附录说明部署、故障域、观测和源码入口。贯穿全书的边界是:收到请求、写入日志、形成提交、应用状态、通知客户端是不同事件。

问题的提出

一致性问题首先是用户会看到什么结果。售票、转账与商品展示的容忍度不同;复制提升性能和可用性,却需要说明更新何时可见。以下解释把并发、复制和读取承诺分开,以便为后续协议讨论建立问题边界。

不同操作对新鲜度和可靠性的要求不同。售票不能让两人同时成功买到最后一张票,转账可以延迟到账却不能丢失资金,商品页面可以暂显旧库存但下单时必须核验。应分别说明展示承诺和最终决策点,不能用一个一致性等级概括所有用户交互。 相关解释见一致性要求取决于业务。

最后一张车票同时在不同窗口出售,若系统未对共同余票事实提供一致性保障,两位乘客都可能购票成功,直到检票才发现其中一张无效。问题来自多个入口对同一份有限资源作出互不相容的成功承诺;原文未在此给出具体加锁或扣减协议,不补造方案。 相关解释见最后一票重复出售。

并发指逻辑控制流在时间上重叠,不要求每一步在物理上同时执行。本书将讨论范围收窄到多个线程更新共享变量的更新并发;理解这种范围限制,有助于避免把任意多线程场景都当成同一种冲突。 相关解释见更新并发关注重叠操作。

复制既可在节点故障时提供可用副本,也可分摊访问负载。但一次更新传到不同副本需要时间,一个客户端写成功后,另一个客户端可能暂时读到旧值。复制增加容量或冗余,同时也增加了需要明确定义的读取承诺。 相关解释见复制收益伴随可见性延迟。

强一致性要求写入后的读取满足所承诺的新值可见性;弱一致性不保证立即可见,具体传播时间也未必有界。两者首先是可观察结果的区别,不能简单由“是否存在副本”或“用了某类数据库”推定。 相关解释见强弱一致规定读取承诺。

最终一致是弱一致的一种:更新传播后,各副本最终达到一致状态。它允许中间阶段不同,但仍需要真正实现传播和修复;不能把“以后可能一样”当成收敛保证。后文对无新写入等条件作了进一步限定。 相关解释见最终一致承诺副本收敛。

原书依据 · 6 处

分布式架构

从集中到分布式,应用需要面对独立节点、消息传输和局部故障。事务约束一组操作如何共同生效,一致性模型约束读取会观察到什么。ACID与CAP讨论层次不同;BASE提供允许延迟与降级的设计思路,但仍须保留数据安全与最终收敛目标。

集中式系统把数据与主要业务处理集中在中心节点,终端主要负责输入输出,因此部署和协作相对简单。中心容量、成本和故障范围也会集中;是否需要分布式,应由真实规模和运行约束决定,而非只看部署形式是否先进。 相关解释见集中部署简化协作模型。

分布式系统把组件放在不同网络计算机上,通过消息进行协调。跨进程的消息传递带来时延、丢失与局部故障,不能直接沿用进程内函数调用必定收到明确结果的直觉。 相关解释见分布系统通过消息协调。

数据副本在多个节点持久保存同一事实,服务副本让多实例提供相同功能。前者关心数据版本和恢复,后者关心请求处理与容量;二者常被组合使用,但复制了服务程序并不代表业务数据已经同步。 相关解释见数据副本与服务副本。

多个独立进程通过消息交互,难以直接用一个统一时钟序列判断任意两事件的先后。需要明确事件排序的依据和范围,而不能把各机器本地时间戳的数值大小直接当成可靠的全局因果关系。 相关解释见缺少全局时钟增加排序难度。

分布式通信可能因链路、设备或服务异常而失败,也可能仅仅变慢。设计应同时处理消息未到和迟到,不能把超过本地等待时间直接解释为远端没有执行;原书延迟数量级是历史说明,不作为当前硬件实测。 相关解释见通信会失败也会延迟。

网络分区使一部分节点之间不能正常通信,即使每个局部区域内仍能继续运行。隔离两侧若独立修改共享事实,恢复通信时就需要处理不同决定;网络分区与具体系统是否已经出现双主写入不是同一层次的概念。 相关解释见网络分区形成隔离区域。

超时可能是请求在到达前丢失,也可能是远端已经处理、响应却在返回途中丢失。因此超时表示调用方尚不知道业务结果,不能直接等同于操作失败;后续查询、重试或补偿应保留这种不确定性。 相关解释见超时意味着结果未知。

事务把一组相关的数据访问与更新组织为一个逻辑单元,为并发隔离和失败恢复提供边界。业务步骤跨越多少系统并不自动决定它已被同一事务保护,必须检查实际参与者和提交机制。 相关解释见事务组织逻辑操作单元。

事务原子性要求其中的操作作为整体成功或整体不生效,不能留下仅完成一部分的业务结果。回滚恢复已执行操作的影响,但分布式环境如何保证各参与者都执行相同决定,还需要后续提交协议。 相关解释见原子性约束整体生效。

事务执行前后应保持数据库规则和业务完整性,原本合法的状态经过提交仍然合法。它关注的是约束是否被维护;这与多个副本是否立即对所有读者呈现同一新值的CAP一致性不是同一个概念。 相关解释见事务一致性维护完整性。

隔离性控制并发事务之间可以看见哪些状态、允许哪些相互影响。不同级别提供不同保证,因此“用了事务”不表示所有并发异常都被禁止;应把实际隔离级别与业务读写方式一起分析。 相关解释见隔离性规定并发可见性。

读未提交可能读取另一事务尚未提交的修改,如果对方回滚,读到的值并不代表最终事实。它不能用于要求读取已确认结果的判断;隔离级别名称描述允许行为,具体数据库也可能提供更强实现。 相关解释见读未提交允许脏读。

读已提交排除读取其他事务未提交的数据,但同一事务两次读取之间,其他事务提交的新值可能变得可见。它保证“已提交”而非“多次相同”;原书对照表中的相关列存在歧义,应以正文示例和明确的现象定义理解。 相关解释见读已提交仍可能读值变化。

持久性要求事务一旦成功提交,状态变更在约定的故障恢复范围内仍可恢复。它与事务是否并发隔离、多个副本是否立即同步是不同保证;不能从持久化成功推导跨节点同时可见。 相关解释见持久性保护已提交结果。

分布式事务的参与者、资源与管理组件位于不同节点,一次业务操作可能跨多个数据源。每个节点只完成自己的局部操作还不够,系统必须协调整体提交或回滚,网络故障会使这种协调更困难。 相关解释见分布事务跨越参与节点。

跨银行转账包含本地取款和目标存款两个独立服务。若取款已成功而存款失败,业务只完成一半,用户资金就会缺失;根因是两个局部成功条件没有形成共同的原子结果。本卡只记录问题,不把任何补偿方法混进问题描述。 相关解释见跨银行部分成功损失资金。

当取款成功但目标存款失败时,原书要求回到取款前状态,恢复被扣除的金额,以避免只完成半次转账。它表达的是恢复目标;原文此处未说明可靠回滚、重复补偿和未知结果的实现协议,不能据此直接上线一个简单“失败就加回”的实现。 相关解释见失败转账恢复已扣款。

分区使跨区域通信不可用时,系统需为相关操作在一致性和持续响应间作明确选择。CAP约束的是分区条件下的保证,不能把“三选二”当成所有正常运行时刻的固定选择,也不能把分区容错解释成分区时仍同时保证完美的一致与可用。 相关解释见分区时明确一致性取舍。

基本可用允许故障时损失部分响应速度或部分功能,以保留系统的主要服务能力。它不是无限期不可用的借口;应说明哪些能力被降级、何种延迟仍可接受,以及怎样恢复正常服务。 相关解释见基本可用允许受控降级。

软状态容许系统在同步过程中暂时处于中间状态,不要求每一时刻所有副本都完成同样更新。允许中间态仍须保持业务安全边界,并安排后续收敛;它不是许可任意丢失已经确认的更新。 相关解释见软状态容许同步中间态。

最终一致性的一种典型保证是:在没有继续更新、复制正常推进等条件下,所有副本最终一致。收敛所需时间受网络、负载和复制方案影响;没有明确时限时,不能把最终一致说成固定几秒内必达。 相关解释见收敛需要停止新增写入条件。

若一个进程观察到另一进程的更新后,再基于该结果继续访问或修改,应保留这种因果依赖。无因果关系的独立操作不受同样的顺序约束;因果顺序也不等于为所有事件建立单一全局总顺序。 相关解释见因果一致保留依赖顺序。

进程完成一次写入后,后续读取不会退回到比这次写更旧的值。这是针对该观察者的保证,不自动承诺所有其他客户端也已看到更新,因此不能把它等同于全局强一致。 相关解释见读己之所写保护自身观察。

会话一致性把读己之所写等观察承诺限定在同一个有效会话中。会话切换或失效后能否继续保持相同保证,需要额外设计;持有同一用户身份不等于天然保留了同一会话的所有可见性状态。 相关解释见会话一致限定保证范围。

观察者已读到某版本后,后续读取不应再返回更旧版本。它保护的是连续读取的前进方向,不保证第一次读取就是系统最新值;这是与读己之所写不同的一条可见性约束。 相关解释见单调读防止观察倒退。

同一进程发出的写入应按其顺序执行,避免后来修改在依赖的前次修改之前生效。这限制的是同一来源的写序列,并不自动规定不同来源之间全部写入的统一顺序。 相关解释见单调写保留来源内顺序。

可重复读围绕同一事务中的重复读取提供稳定性约束,不能用下一次事务看到新提交值来解释幻读。幻读关注同一条件查询的结果集合发生变化,具体数据库可提供更强保证。此处对原书容易混淆的例子作边界澄清,不将其跨事务变化的例子当作严格定义。 相关解释见可重复读关注同一事务。

可串行化要求并发事务的已提交结果等价于某种逐个执行顺序,不要求物理上完全禁止并发。原书把语义保证简写成“不能并发执行”,容易混淆结果约束与实现方式,使用时应保留这一区别。 相关解释见可串行化约束等价结果。

原书依据 · 28 处

一致性协议

提交协议协调一组参与者的事务决定,共识协议在多副本之间选择唯一值。需要分开讨论决定的安全性、参与者能否获知结果,以及故障条件下是否继续前进。多数派的交集只是基础,提案编号、承诺与既有接受值的继承共同维持Paxos安全性。

跨节点事务中,每个参与者只知道自己的局部执行结果。协调者汇集这些结果,决定整体提交或中止;参与者按共同决定处理本地资源。职责划分不等于协调者天然高可用,其故障恢复也是协议设计的一部分。 相关解释见协调者统筹事务决定。

2PC先由参与者执行可回滚的准备工作、记录日志并投票,再由协调者根据所有投票决定提交或回滚。投Yes只表示已准备好,不等于已完成全局提交;参与者不能在等待决定时随意释放事务保护。 相关解释见两阶段提交先准备后决定。

所有参与者都同意后,协调者发送Commit;参与者正式提交、释放资源并回复确认,协调者收齐确认后结束。准备、全局决定与参与者确认是不同进度,不能把第一次Yes当作业务已经整体完成。 相关解释见二阶段提交的成功路径。

有参与者拒绝或协调者准备阶段等不到全部响应时,协调者通知回滚。参与者利用此前的Undo信息撤销局部操作,再释放资源并确认;恢复能力来自准备阶段保存的依据,不是收到失败后凭猜测逆向修改数据。 相关解释见二阶段中止依赖撤销信息。

参与者投票后等待共同决定,事务占用的锁等资源可能持续被持有,从而影响其他需要这些资源的操作。阻塞应按相关事务和资源理解,不能把简化叙述推广成数据库所有无关工作都必定停止。 相关解释见准备事务可能阻塞资源。

协调者若在参与者准备好之后失效,参与者可能无法得知最终决定并继续占用资源。2PC需要考虑决定记录和恢复路径,不能从局部节点仍在线推定整个事务已经具备推进条件。 相关解释见协调者故障拖延提交结束。

提交消息未到齐时,部分参与者可能已经提交,其他参与者还在等待共同决定。需要区分暂时未完成或外部观察差异与永久作出相反决定;不能只凭消息丢失就宣称原子提交协议允许任意部分提交。 相关解释见局部收到提交不等于共同结束。

准备阶段不能确认全部参与者已同意时,中止可避免在信息不足下贸然提交,但也可能因个别节点异常放弃本可成功的事务。这种保守性以牺牲推进机会换取共同决定所需的前提,须明确超时发生在哪个阶段。 相关解释见准备超时中止偏向保守。

3PC把流程分为CanCommit询问、PreCommit执行并记录可恢复信息、doCommit正式提交。多一个中间状态让参与者对全局进展掌握更多信息,也引入额外通信和故障状态;它不是简单多发一次消息就无条件解决阻塞。 相关解释见三阶段增加预提交状态。

书中3PC在进入最终阶段后允许参与者等待超时再提交,目的是减少协调者故障造成的等待。但超时动作依赖已达到的状态及通信故障假设;网络分区时不同参与者可能走向不同决定,因此不能把它当作任意分区下的安全提交保证。 相关解释见三阶段超时依赖状态假设。

Paxos在这里采用非拜占庭模型:节点可停止或重启,消息可延迟、重复和丢失,却不被恶意篡改。任意欺骗或发出相互矛盾消息的节点超出该模型;不能用校验传输错误就推定已解决全部恶意节点问题。 相关解释见拜占庭故障不同于停机。

安全性要求不能选出相互冲突的值,也不能把没有真正选定的值报告为已选定;活性关注最终能否选出并获知结果。系统长期等待可能仍保持安全,因而“未出错”不等于“能够推进”。 相关解释见共识安全与活性应分开。

Proposer产生提案,Acceptor根据承诺决定是否接受,Learner学习已选定结果。这是逻辑职责,实际一个进程可以承担多种角色;部署机器数量和角色种类不能机械一一对应。 相关解释见Paxos三角色可同机承担。

若所有进程都可能停机重启,算法需要让某些关键状态在重启后仍可恢复,否则无法延续已发生的承诺与决定。消息可能重复或延迟,运行时暂存状态与恢复所需持久状态应分别设计。 相关解释见异步模型要求持久记忆。

在固定Acceptor集合内,任意两个超过半数的集合必然相交,使新一轮可以接触旧决定的见证者。但交集只是安全推理的基础,还需配合承诺、继承旧值和持久化规则,不能仅凭“少数服从多数”宣称实现共识。 相关解释见多数派交集连接两轮决定。

一个提案达到多数接受时即已选定;某些接受者随后故障,可能使其他进程暂时无法获知结果,却不会抹除已经成立的选定事实。原书图2-5附近的“无法选定”应结合这一事实与认知的区别理解。 相关解释见选定事实与获知结果不同。

提案由唯一编号和值组成,编号区分不同轮次并给出全序,值才是需要达成一致的业务内容。允许多个编号的提案被选定,安全要求是这些提案的值必须相同,而非整场算法只能出现一个编号。 相关解释见提案编号与值分别承担职责。

如果每个Acceptor永远只接受最先到达的值,多个提案可能分散获得少量支持,没有一个达到多数。允许接受多个轮次的提案可以继续推进,但必须加上保护既有决定的约束,不能让“多次接受”变成任意改值。 相关解释见只收首个提案可能分裂票数。

一旦某个值已被选定,更高编号若再被选定也必须保留同一值。保护对象是已经成立的决定,编号增加只用于协调新轮次,不赋予新提议者覆盖既有业务值的权利。 相关解释见P2保护已选值不被替换。

将约束加强到更高编号提案的产生过程,可以避免后续Acceptor接受冲突值。新Proposer不能只靠自己的初始偏好选值,而应先收集多数接受历史,再按规则继承已有最高编号提案的值。 相关解释见更高提案继承安全值。

新提案需基于某个多数集合:若这些接受者都没有接受旧提案,可自由选值;否则继承它们报告中编号最高的已接受提案之值。多数交集与对中间编号的归纳共同保证已选值被带到未来,不是简单按值出现次数投票。 相关解释见P2c由最高已接受值续接。

Prepare请求要求接受者承诺不再接受更小编号,并报告自己已经接受过的最高编号提案。承诺约束未来,历史帮助新Proposer选择安全值;只返回“准备好了”而丢掉旧值信息,无法完成同样的安全推理。 相关解释见Prepare同时索取承诺与历史。

Proposer收到多数Prepare响应后,若有接受历史,就取最高编号提案的值;只有整个响应集合都没有接受历史时,才可自由选择自己的值。尚未达到多数不能仅因当前几个响应为空就提前决定。 相关解释见空历史才允许自由选值。

Acceptor接受编号为n的提案,前提是尚未承诺拒绝该编号,即没有对更高编号Prepare作出承诺。收到更高承诺后的旧Accept应被拒绝或忽略,避免迟到消息破坏新轮次的安全边界。 相关解释见Accept不能违背更高承诺。

接受Accept的多数集合可以与Prepare阶段不同,依赖的是固定成员内任意多数集合必然相交,而非必须每轮找完全相同的节点。成员集合若发生变化,不能直接无条件沿用这一前提。 相关解释见两阶段可使用不同多数集合。

接受者需要恢复最高Prepare承诺及最高已接受提案等关键状态,包括恢复所需的提案值。只保存一个最大编号而丢掉对应值,无法在后续Prepare中正确回报历史;普通运行时缓存不能代替这种持久记忆。 相关解释见接受历史与承诺需要落盘。

接受者已经承诺更高编号时,再回应更小Prepare也不会帮助该轮获得接受,可选择忽略。忽略请求不必破坏安全,但可能影响进度;向提出者反馈已有更高编号可减少无效等待。 相关解释见过期Prepare可安全忽略。

所有接受者通知所有Learner,传播直接但通信量大;集中通知一个主Learner可减少消息却引入单点;通知一组主Learner则以更多通信换取冗余。学习拓扑不改变提案是否已被多数接受的定义。 相关解释见Learner通信存在成本取舍。

两个Proposer不断提出更大编号,可能交替取得承诺并使对方的Accept失效,导致没有一轮完成。这种活锁不一定破坏安全,却说明仅有正确的接受规则还不足以保证实际推进。 相关解释见竞争Proposer可能相互抢占。

选择稳定的主Proposer可减少相互抢占;在其能与多数Acceptor持续正常通信等条件下,提案才有机会完成。该进度保证有前提,不能把Paxos表述成任何永久故障或无限网络延迟下都必定快速结束。 相关解释见稳定提出者帮助恢复进度。

Proposer可以放弃自己正在尝试的旧提案,迟到请求仍由Acceptor的承诺规则约束。放弃本地尝试不等于撤销已经由多数接受的值,也不能复用同一编号偷偷提出另一业务值。 相关解释见放弃旧提案不会撤销已选值。

原书依据 · 31 处

Paxos的工程实践

从协议走向服务,还需要对象命名、会话租期、缓存失效、锁序列器、日志恢复与服务切换。Chubby与Hypertable说明一致日志只是协调服务的一层,应用接口与恢复流程必须把故障中的不确定状态表达出来。

把一致性封装成独立协调服务,应用通过获取锁、写入少量状态和订阅变化完成协作。相比让每个应用部署协议副本库,这减少已有结构的改动,也将副本部署和故障恢复集中到服务中;应用仍需处理会话失效。 相关解释见协调服务降低应用侵入。

粗粒度锁适合持有数小时或数天的主节点角色。协调服务短暂不可达时立即转移锁,可能放大角色切换和旧主请求的风险,因此需要会话租期、恢复等待和旧请求隔离配合,不能照搬单机短临界区锁。 相关解释见粗粒度锁维护长期角色。

主节点候选者获得约定锁后,把地址等信息写入相应小文件,其他客户端通过读取并监视文件发现主节点。锁决定角色资格,小文件和事件承担结果发布,两者共同形成可发现的选举接口。 相关解释见锁文件发布选举结果。

Chubby以多数副本选出主节点,并用主节点租期约束服务资格。有效主节点负责写入复制和读取处理;失效后的新主选举需服从租期和一致性协议,不能仅凭一次心跳失败自行宣布新主。 相关解释见主节点租期限制并存。

客户端先通过DNS获得集群服务器候选列表,再询问节点以找到主节点;非主节点可返回主节点标识。DNS提供发现入口,真正的主节点资格来自服务内部协议,不能把地址解析等同于角色选举。 相关解释见客户端寻址跟随主节点。

路径相同不代表对象未变。Chubby的实例编号区分节点删除后的重建;内容、锁和ACL各自的递增编号则标识不同维度的变更,使客户端能判断自己观察的是哪个对象和哪个状态版本。 相关解释见节点编号区分同名重建。

Chubby的文件锁采用建议式语义:持锁不是读取或写入同名文件的必要条件,也不会自动阻止未持锁者访问。应用必须遵守协作约定,并让被保护资源验证写入资格;获得锁本身不会替任意外部资源强制互斥。 相关解释见建议锁依赖参与者遵约。

旧持有者的请求可能在锁失效、新持有者完成操作后才到达资源端。若资源端只相信客户端曾拿到过锁,旧请求仍可能覆盖新状态。这说明锁交接还需隔离旧请求,而不只是协调谁当前持锁。 相关解释见延迟请求越过锁交接。

客户端异常丢锁后,Chubby暂缓把该锁交给其他客户端,为短暂断连及在途消息留出缓冲。锁延迟是一种减轻风险的等待策略,无法证明任意长延迟的旧请求已消失,因此不能替代资源端的资格验证。 相关解释见锁延迟缓冲短暂断连。

持锁者取得包含锁名、模式和锁序号的序列器,并将它随受保护操作交给资源服务。资源端按协议检查其有效性和访问模式,拒绝失效资格对应的请求。关键是操作的执行端参与检查,而不是只在协调服务里登记一个锁。 相关解释见锁序列器隔离旧请求。

客户端订阅文件内容、节点删除、子节点变化或主节点切换等事件,由服务异步通知变化。这样减少反复查询的负载;事件表达状态可能改变,应用仍需按接口读取和处理相应状态,不能把事件机制推断为任意业务消息的可靠队列。 相关解释见事件订阅减少状态轮询。

Chubby跟踪可能缓存数据的客户端,更新时先阻塞修改并发送失效通知,等待相关客户端确认或其缓存租期到期,再继续修改。强一致缓存依赖服务端协调、客户端遵守租期和必要的等待,不能由单纯设置TTL获得。 相关解释见先失效缓存再完成修改。

KeepAlive请求通常保留到续租时才返回;客户端收到响应后立即发起下一个请求。事件和缓存失效通知也可促使请求提前返回,让同一交互承担会话续期与通知通道的作用。原书中的默认秒数属于历史实现参数。 相关解释见长轮询复用会话响应。

客户端本地租期到期但尚未收到响应时,无法断言服务端已终止会话。它先清空并停用缓存、进入危险状态,再等待宽限期恢复;宽限期内续租成功可恢复,否则按会话过期处理,避免把通信不确定性直接当作确定的角色撤销。 相关解释见本地超时并非会话失效证明。

主节点切换期间,Chubby客户端可保留会话对象,却阻塞相关API调用并清空缓存。jeopardy、safe和expired事件让上层区别暂时不确定、恢复和最终失效,从而选择等待或重新初始化,而不是在资格不明时继续操作。 相关解释见危险状态阻塞业务调用。

每次主节点选举确定新的周期号,即使同一台服务器再次当选也产生新周期。新主拒绝携带旧周期的请求并告知新周期,使客户端刷新资格;机器身份与统治轮次必须分开表示。 相关解释见主节点周期拒绝旧请求。

新主根据持久状态重建会话和锁,先恢复续租能力,再通知客户端切换、使缓存失效并等待确认,之后恢复其他请求。分阶段恢复把角色选举、状态重建和对外服务资格分开,避免选出主节点即立即承诺所有功能可用。 相关解释见故障切换先恢复再服务。

故障切换后可按需重建仍有效的句柄内存对象,但已关闭句柄不得因延迟或重发请求再次出现。这要求恢复流程保留对象生命周期的判定依据,单纯重复创建内存对象会让历史请求复活已结束的资源。 相关解释见关闭句柄不能被重放重建。

Chubby以Paxos维护容错日志,在日志之上构建容错键值状态,再向应用提供锁与小文件服务。协议决定日志中的命令,状态机按确定顺序应用命令;一致性服务的完整语义还需要日志以外的会话、租期和接口规则。 相关解释见一致日志支撑状态机副本。

连续服务需要为不断增加的日志位置分别运行共识实例。每个实例决定该位置的值,并以全局唯一的实例编号组织顺序;一个实例的唯一决定不等于自动得到无限日志,还需位置分配、持久化和缺失条目的恢复。 相关解释见每个日志位置独立选值。

主节点用同一轮编号为一组未决及未来实例建立承诺,分别恢复已有接受值后,可继续执行各实例的接受阶段,减少逐条日志重复准备。若遇到更高编号拒绝则需重新准备;跨实例共享准备不能跳过每个未决位置的既有值约束。 相关解释见稳定主节点摊薄准备成本。

只回放全部历史日志会让恢复时间随日志增长。保存状态快照后,从对应位置继续回放后续日志;本地磁盘完好时可先恢复本地再补缺,磁盘损坏则需从其他副本获取状态。截断日志必须保留与快照匹配的恢复边界。 相关解释见快照缩短日志恢复。

副本重启后不能凭旧内存立即参加新实例,必须完成数据与编号状态的恢复,确保不重复使用先前轮次或违背已作承诺。书中等待一定数量实例的处理是特定实现的恢复方案,不是Paxos通用的固定等待规则。 相关解释见重启副本恢复后再投票。

原书介绍的Hypertable把元数据协调交给Hyperspace,实际范围数据的读写交给RangeServer,经DFS Broker接入底层文件系统。协调服务处理少量关键元数据,使高吞吐数据路径不必逐项存放在协调系统内。 相关解释见元数据协调与数据访问分层。

Hypertable的Master管理RangeServer状态,并在失效时重新分配范围、进行负载均衡。数据按主键范围切分,范围与服务器映射可变;恢复控制与数据存储要配合,不能把重新分配元数据直接等同于完成数据恢复。 相关解释见范围分配兼顾恢复与均衡。

DFS Broker统一上层数据访问与底层文件系统之间的接口。接入新存储时实现对应适配层,可减少上层分布式数据库对具体文件系统的耦合;实际一致性、故障恢复和性能仍受底层语义约束。 相关解释见适配层隔离文件系统差异。

Hyperspace把关键元数据写入交给底层复制协议,等待多数副本确认会增加写延迟。元数据变更频率较低而可靠性要求高,因此这一开销可以接受;原书的具体BDB行为和集群规模属于当时实现描述。 相关解释见低频元数据接受多数派代价。

原书依据 · 27 处

ZooKeeper与Paxos

本章把ZooKeeper接口保证与ZAB内部广播分开。客户端会话、临时节点、版本和ACL提供协调原语;ZAB通过发现、同步与广播维护跨周期的提交前缀。普通读取可能落后,不能把原子更新误解为所有副本与客户端同时看见相同值。

ZooKeeper提供数据节点、版本、会话和变化通知等基础原语,应用把它们组合成配置发布、选举、锁和成员管理等机制。基础协调服务不直接替代业务事务,使用者仍需定义角色失效、重试和并发更新时的行为。 相关解释见协调原语组合业务功能。

同一客户端发起的更新按发送顺序应用,客户端可以依靠这一顺序组织先后依赖。该保证不同于所有客户端在任意时刻读取相同值;服务副本和通知传输可能使不同客户端暂时看到不同的已提交前缀。 相关解释见客户端顺序约束更新。

ZooKeeper更新具有完整成功或失败的原子语义,但原书把它表述成所有机器同时应用容易误解。副本可能尚未追上已提交日志,不同客户端的读取也可能不同;全有全无的更新结果不代表任意时刻的跨客户端同值读取。 相关解释见原子更新不等于同时可见。

更新成功响应说明服务已应用变更,后续故障恢复不能随意回滚客户端已见结果。通信错误或超时则可能发生在服务已执行但响应丢失之后,因此结果未知不能直接等同于未执行;重试需辨别原操作结果。 相关解释见成功响应与结果未知有别。

ZooKeeper普通读取可由所连接副本本地处理,读性能较高,但可能返回较旧的已提交状态。应用必须依据具体读取保证设计跨客户端协作,不能把原子写入与顺序更新推断为任意普通读取都立即看见其他客户端最新写入。 相关解释见读服务允许暂时旧值。

Leader协调写入,Follower参与投票并服务读取,Observer接收状态并服务读取但不进入写入确认的投票集合。观察者可扩展读容量而不扩大投票多数派;增加节点仍有复制和网络成本,不能理解为写入性能绝对不受影响。 相关解释见观察者扩展读取能力。

ZooKeeper会话建立在客户端与服务器的连接之上,但不等于某一条TCP连接。连接断开后,在会话仍有效的条件下重连其他服务器可延续会话;连接断开事件不等于会话已过期,客户端需要区分两种状态。 相关解释见会话可以跨越连接恢复。

临时节点的生命周期绑定创建它的会话,会话失效后节点被移除。它可表达成员或角色资格的存续;短暂连接中断并不立即删除节点,因此不能把节点存在当成对应进程此刻一定可达或正在执行工作的证明。 相关解释见临时节点跟随会话失效。

创建带SEQUENTIAL属性的节点时,ZooKeeper在名称后附加由父节点维护的递增序号。它为同一父级下的候选者提供有序身份,可用于排队和选举;该编号范围与父节点相关,不是整个业务系统所有事件的统一序号。 相关解释见顺序节点由父级编号。

Stat分别维护数据版本version、子节点变更版本cversion和ACL版本aversion。不同操作关注不同版本,不能用子节点版本替代数据内容版本来保护更新;版本是并发协调的依据,而不是业务数据本身。 相关解释见版本号区分变更维度。

ACL中的READ用于读取节点数据和子节点列表,WRITE用于更新当前节点数据,ADMIN用于修改当前节点ACL。CREATE和DELETE约束创建、删除该节点的子节点;需要按操作实际作用的节点配置权限,不能把DELETE理解为删除自身。 相关解释见节点权限区分对象范围。

有依赖的状态变更必须按共同顺序应用,不能让副本先执行后续命令却遗漏其依赖。ZAB围绕整个提案流的原子广播维护顺序;单个值达成一致只是基础,日志前缀与主节点切换的恢复也属于协议约束。 相关解释见原子广播维护全局前缀。

客户端可以连接不同服务器,但更新需由Leader统一排序和提出提案。非Leader接到更新后转发,普通读取则可在本地处理;连接入口与写入协调角色分离,不能按连接到的节点判断谁决定更新顺序。 相关解释见写请求统一交给主节点。

Leader按序发送提案,投票副本持久记录后确认;取得投票集合的多数确认后广播提交并按序应用。多数计算包括具有投票资格的Leader自身,不是额外要求超过半数Follower;Observer不计入投票集合。 相关解释见广播模式以多数确认提交。

Leader为各Follower维护发送队列,以一致顺序发送提案及提交,Follower顺序记录与处理。FIFO连接配合两端处理规则维持前缀;TCP只保证单连接字节有序,不会单独建立跨连接、跨主节点周期的全局事务顺序。 相关解释见有序队列保持提案前缀。

启动、主节点故障或失去投票多数派通信时,集群进入恢复流程。只有确立新Leader并与多数投票副本同步后才恢复新提案广播;这把安全服务资格与单纯检测到机器存活分开。 相关解释见失去多数派先进入恢复。

Leader可能在取得多数确认并提交后、尚未把提交消息送达所有副本时崩溃。新一轮恢复必须保留并传播这些已提交事务,不能仅按某一落后副本是否收到Commit判断事务不存在。 相关解释见已提交前缀跨切换保留。

旧Leader可能只在自身留下提案而未得到多数确认,之后新Leader建立另一条合法历史。旧节点重新加入时需与新历史对齐,回退不属于已确立前缀的尾部;不能把所有未收到Commit的提案一律删除,恢复还需识别已提交前缀。 相关解释见孤立未提交尾部可回退。

ZXID把主节点周期和周期内计数组合为事务标识:高32位表达epoch,低32位表达计数。跨周期先比较epoch,同周期再比较计数,使主节点更替前后的提案身份可区分;编号递增仍需协议保证一个epoch只对应合法领导资格。 相关解释见事务标识结合周期与计数。

新加入或恢复的Follower先补齐Leader选定历史并应用已提交数据,完成同步后才纳入正常服务流程。成员启动成功与具备一致状态是两个阶段,不能把建立TCP连接当成恢复已经完成。 相关解释见新成员同步后才可用。

候选Leader收集法定集合报告,确定更高周期并获取历史信息,以建立新一轮的起点。周期号不能只从候选者本地随意加一;发现阶段还要服从参与者承诺和既有日志历史的约束。 相关解释见发现阶段建立新周期。

发现阶段从收集的历史中选择初始化事务集合:先比较相应已接受历史的周期,在周期相同时比较日志末尾事务标识。选择必须结合整个法定集合的信息;仅挑全体机器中看起来最大的一个本地计数不能替代协议恢复。 相关解释见恢复历史先比周期再比日志。

新Leader把选定历史和新周期发给副本,收到法定多数的同步确认并提交领导资格后,才开始处理新事务广播。选举胜出只是候选资格;恢复前缀并建立多数承诺是新主正式对外提出命令的门槛。 相关解释见同步完成才激活新主。

Leader失去投票多数派联系时放弃当前领导周期,Follower失去Leader联系时也进入寻找状态。超时用于触发恢复和推动进展,并不证明远端机器已永久死亡;安全性需由法定集合、周期和激活规则维持。 相关解释见丢失心跳触发重新选举。

原书将ZAB与Paxos比较:两者都利用轮次和法定集合,ZAB则直接围绕主备服务中的连续提案流与崩溃恢复组织协议。理解差异应关注恢复、激活与跨提案顺序要求,不能把Paxos仅限于某一种产品形态,也不能把ZAB当成改名后的单值Paxos。 相关解释见ZAB重视跨提案顺序。

原书依据 · 25 处

使用ZooKeeper

本章正文、嵌入示例代码及表格已读;表格以原图核对,代码OCR仅作派生阅读入口,未实际运行示例。部署身份与端口、原生API的异步结果和版本控制、客户端封装的便利与边界需要分别理解;示例版本为历史环境,不代表当前安装指引。

原书部署与客户端示例以ZooKeeper 3.4.3为背景。Java最低版本、依赖包名、默认参数和脚本用法均是当时环境信息;复现时应固定该版本,实际部署则按目标版本文档准备环境,不能把2015年的示例当作当前安装指引。 相关解释见部署参数必须标明版本。

集群成员列表为服务器分配唯一标识,每台服务器在dataDir下的myid文件写入自己的标识,与成员列表中的对应项一致。共享成员配置描述整个集群,本地myid说明自己是哪一员;两类信息不一致会使服务器不能按预期加入集群。 相关解释见服务器标识对应本地配置。

伪集群在一台机器上启动多个独立进程,通过不同端口和数据目录模拟协议交互。它可验证选举与节点故障流程,但所有副本仍共享主机故障域,不能把多个进程视为已获得多机部署的容错能力。 相关解释见伪集群没有主机容错。

检查进程是否存在不足以确认服务模式。原书通过状态输出区分leader、follower和standalone,判断节点是否按目标模式运行;排障时同时检查配置、端口、数据目录及集群连通性,而不是看到启动脚本返回就认定集群已就绪。 相关解释见启动验证关注实际角色。

事务日志等持久状态需要可写磁盘,空间耗尽可导致服务退出并触发故障转移。应监控容量并按服务支持的保留规则清理历史文件,不能为腾空间任意删除仍用于恢复的快照和日志;单纯反复重启不能消除空间不足。 相关解释见磁盘耗尽需要恢复空间。

原生ZooKeeper客户端构造先完成初始化,建立会话异步进行。应用应等到相应连接事件表明可用后再进行依赖连接的工作;对象已创建只是本地状态,不能当作服务端已接受会话。 相关解释见客户端构造不等于已连接。

已有会话可通过对应sessionId和sessionPasswd尝试延续,而不是每次重建本地客户端就创建全新身份。凭据必须匹配且会话仍有效;错误凭据或已过期会话不能凭客户端自行指定的编号恢复。 相关解释见复用会话依赖有效凭据。

原生节点数据是字节数组,ZooKeeper不理解应用对象结构。应用负责选择编码、序列化格式和兼容策略,并在读取时解码;客户端库对对象序列化的便利封装不改变服务端只存储字节的边界。 相关解释见节点内容序列化由应用负责。

原生create只创建指定节点,父节点必须存在,同名节点已存在时创建会失败。递归建父和容忍已存在是客户端组合出来的行为,不能把包装器一次方法调用误认为服务端提供了原子创建整条路径的操作。 相关解释见原生创建需要已有父节点。

创建顺序节点时,服务会在请求前缀后追加序号,返回值才是实际创建的完整路径。应用应保存这个结果用于后续读取、监视或删除,不能继续把提交时不含序号的前缀当作节点身份。 相关解释见顺序创建返回实际路径。

原生异步操作通过回调中的响应码报告服务操作结果。发起方法已返回不代表节点已创建或更新成功;业务后续动作应放在结果判定之后,并区分成功、已存在、连接丢失和会话过期等情况。本地参数错误等同步异常也不应被这一规则掩盖。 相关解释见异步完成以响应码判定。

原生getChildren注册的Watcher通知某节点的直接子节点集合发生变化,事件本身不带最新列表。客户端收到通知后重新读取列表并注册下一次监听,才得到新的状态;不能从通知次数还原每次中间变动。 相关解释见子节点通知不携带新列表。

getChildren返回直接子节点名称,例如c1和c2,而不是完整路径。后续对某个子节点操作时需与父路径正确组合,也不能把一次获取列表理解为递归读取整棵子树。 相关解释见子节点列表返回相对名称。

原书版本中的原生Watcher是一次性的,触发后需要再次读取并注册以继续观察。持续监听的客户端封装通过自动维护这一步骤提供便利;应用不能仅注册一次就假设此后所有变化均会持续通知。 相关解释见一次性监视需要重新注册。

写入与原有内容相同的字节仍可推进节点数据版本并触发数据变化通知。因此Watcher表达节点更新发生,而不保证业务值一定不同;只对业务值变化采取动作的订阅者需自行比较或按版本处理。 相关解释见同值写入也可触发变化。

客户端读取节点及version,更新时携带这个期望版本。若期间其他客户端已更新,服务端拒绝过期版本的写入,让客户端重新读取和决定下一步,而不是无条件覆盖新状态;这是一种乐观并发控制。 相关解释见版本条件防止覆盖他人更新。

setData或delete中的version=-1表示不检查期望版本,而非读取某个真实的负版本,也不是取消服务端单次操作原子性。原书将其称作没有原子性要求容易混淆:失去的是检测并发覆盖的条件保护,不是操作执行到一半的保证。 相关解释见忽略版本不取消更新原子性。

原生delete要求节点无子节点,并可附带期望版本。递归删除由客户端遍历并逐个执行,过程中可能有并发创建或失败,因此不能把一个递归方法名当作对整棵子树的一次原子删除。 相关解释见删除约束与递归封装有别。

exists可在节点不存在时注册监视,观察节点创建,也能观察已存在节点的删除和数据更新。它不监视该节点子节点集合的变化;选择监听接口时必须区分节点自身与直接子节点列表。 相关解释见存在监视针对节点自身。

给会话添加身份信息与给节点配置ACL是不同步骤。身份供服务端识别请求者,节点ACL决定该身份可执行的操作;只有两者正确配合才形成访问控制,添加认证信息本身不会自动限制任何开放节点。 相关解释见认证身份与节点ACL配合。

删除某节点需要检查其父节点的DELETE权限。给节点自身设定严格ACL,仍不等于它不能被拥有父级删除权限的其他会话删除;设计路径权限时要把父节点控制子节点生命周期这一层包含在内。 相关解释见删除自身取决于父节点权限。

ZkClient对原生客户端进行包装,把连接等待、重复注册监听和对象序列化等细节组织成更易使用的接口。便利接口改变应用接入方式,但不会消除会话过期、连接不确定或并发更新这些服务语义。 相关解释见客户端封装承担重复细节。

ZkClient对应用提供持续Listener接口,在底层维护原生Watcher的重新注册,并可重新读取数据后再传给监听者。原生服务通知与包装器提供的回调载荷应分开理解,不能将包装后的列表参数误当作服务端原始事件内容。 相关解释见持续监听来自客户端维护。

客户端递归建父路径可减少重复代码,但多客户端仍可能同时创建相同节点。创建即确认的封装需要容忍已存在这类预期竞争结果,而非依靠先查询不存在就保证随后创建成功。 相关解释见递归创建仍需处理并发。

Curator工厂创建客户端配置与对象后,还需显式start启动连接过程。构建、启动和建立可用连接是不同阶段;上层应按对应生命周期管理资源,不把完成链式参数配置当作会话已经可用。 相关解释见Curator先构建再启动。

原书的指数退避策略随重试次数扩大随机等待范围,并设置最大等待与重试次数。重试减少短暂故障的影响,却不能无限延长业务等待;实际策略还需服从操作幂等性、结果未知处理和整体超时预算。 相关解释见退避重试需要有界控制。

Curator命名空间给客户端操作统一加上根路径,减少业务之间误用相同节点的风险。这是一种路径组织机制,安全隔离仍要依靠ACL与身份配置,不能因为两个客户端使用不同前缀就认定彼此无法越权访问。 相关解释见命名空间是路径隔离。

guaranteed删除在遇到连接等失败时记录任务并后台重试,减少应用自行补偿的负担。它依赖客户端与会话等运行条件,并不能在任意宕机、权限拒绝或永久不可达时无条件成功;应用不应把入队重试等同于服务端已经删除。 相关解释见保证删除依赖运行条件。

客户端默认事件线程串行处理通知,某个回调耗时过长会拖慢其他事件。Curator异步接口可使用专用Executor承接复杂处理;转入线程池后要自行考虑并发和完成顺序,不能继续假定业务处理仍严格串行。 相关解释见耗时回调避免阻塞事件线程。

Curator的Cache封装监听和本地状态维护,方便应用读取变化后的视图。它不使本地缓存与远端保持事务级同步;需要保护并发更新时仍应使用版本条件,断连期间也不能根据缓存假设远端当前状态。 相关解释见缓存视图不是事务快照。

原书声称删除不会触发NodeCacheListener不够准确。Curator 2.4.2的NodeCache处理创建、更新和删除,删除已有缓存节点可使当前数据变成null并通知监听者。业务回调须处理节点不存在,而不能只按每次回调都有有效数据编写逻辑。 相关解释见节点删除也属于缓存变化。

原书中的PathChildrenCache维护指定路径的直接子节点变化,子节点自身数据更新也可通知。更深一层孙节点的创建或删除不属于同一监听范围;需求若涉及整棵树,应选择匹配范围的机制,不能把Children理解为递归。 相关解释见子节点缓存范围只到一层。

LeaderSelector在取得领导资格后调用takeLeadership;回调结束即释放本轮领导权。需要保持主角色期间的业务应在这个生命周期内运行,并响应连接与会话状态变化;把长期任务异步抛出后立即返回,会让任务运行越过原有角色持有区间。 相关解释见领导权回调界定持有区间。

原书的时间戳订单号示例出现重复,揭示时间粒度无法区分同一时刻多次生成。互斥锁只会串行执行代码,不保证两次调用必然跨过一个时间单位;真正唯一的业务标识还需序列、计数或其他明确的唯一性机制。 相关解释见时间戳不保证业务唯一。

Curator把跨进程互斥封装成获取与释放接口,应用需要在成功获取后于可靠的清理路径释放。锁的持有边界、会话失效与外部操作隔离仍要单独处理;接口便利不能让已经失去资格的执行者自动停止所有在途业务。 相关解释见分布式锁使用后必须释放。

Curator的DistributedAtomicInteger提供跨实例的计数更新,但不能假定每次调用一定成功。其2.4.2实现先尝试乐观更新,可选在失败后转入互斥策略;调用者必须检查AtomicValue.succeeded后再使用结果,而不是只要返回对象就记录加一成功。 相关解释见分布式计数须检查结果。

DistributedBarrier让参与者等待约定屏障,由控制者显式移除后继续。它协调执行阶段,不保证参与者此刻都健全,也不自动回滚参与者此前业务;控制者失效和等待超时需要应用自行设计处理。 相关解释见显式屏障等待统一放行。

双屏障要求达到约定参与者数后共同进入,在约定成员准备离开后共同放行退出。它适合需要阶段同步的分布式任务;固定人数与成员故障会影响进度,因此不能把屏障理解成消除了失效和超时的等待协议。 相关解释见双屏障约束进入与离开。

EnsurePath尝试创建所需路径,并将已经存在视为目标已满足,而非无条件向调用者抛错。直接表达确保存在比先查不存在再创建更能容纳并发,但权限不足、连接失败等其他原因仍需按实际结果处理。 相关解释见确保存在吸收预期竞争。

TestingServer与TestingCluster便于在本地启动服务或多副本进程,并主动停止Leader观察重新选举。它们可验证客户端在故障中的处理路径;同机模拟不能替代跨主机故障域、网络分区和真实容量条件下的验证。 相关解释见本地测试服务模拟故障流程。

原书依据 · 40 处

典型应用场景

本章的典型应用与大型系统案例均已读,案例按原书时代理解。配置、发现、角色竞争和任务分配共享协调原语,但持久状态、会话成员与外部业务效果必须分开。锁与队列方案提供协调顺序,不能据此推导业务恰好执行一次或消息持久投递。

配置发布者更新约定节点,订阅者启动时读取配置并注册监听,收到变更通知后再读取最新状态。通知负责唤醒,读取负责获取内容;需要结合断连恢复与重新注册,不能把这种方式当成逐次配置变更的完整事件日志。 相关解释见配置分发结合通知与重读。

ZooKeeper配置节点适合较小、运行时可能变化、需要多实例共享的配置。集中管理降低逐台改文件的成本;业务还需定义本地生效顺序、校验与失败处理,更新配置节点不代表所有实例已经同时完成切换。 相关解释见集中配置适合小量共享状态。

原书DDNS把逻辑服务名映射到地址列表,由注册组件维护、解析组件选择地址、扫描组件检查状态。ZooKeeper存储和协调这些信息,实际请求路由仍由调用方与相应组件执行,不能把它理解为自动代理业务流量的负载均衡器。 相关解释见服务发现不直接转发流量。

服务发现通过最近心跳时间判断地址是否应继续分配,并移除被判定不可用的端点。示例中的五秒是策略参数;超时意味着当前无法确认可达,不证明进程永久死亡,剔除与恢复应服从业务容忍度。 相关解释见探活超时是可用性判断。

顺序节点编号只在相应父级的命名范围内区分创建顺序。原书把任务类型与节点返回名组合为业务ID,是在显式组合命名空间后扩大唯一范围;跨父级、路径重建或计数边界不能只靠一个裸序号承诺永久全局唯一。 相关解释见唯一编号需要命名范围。

复制任务的临时顺序节点表达候选者与当前执行角色,另设共享位点记录运行上下文,让接任者知道从哪里继续。角色切换不自动使复制效果与位点写入成为原子操作;恢复时仍需处理重放和遗漏的业务边界。 相关解释见任务角色与复制位点分开。

同一任务的候选者创建临时顺序节点,以序号最小者运行,其余待命并观察成员变化。会话失效引起节点删除后重新判断候选顺序;旧执行者对外部资源的在途操作还需隔离,选举本身不会自动终止旧任务。 相关解释见小序号优先组织热备。

热备为任务保留待命执行者,通过监听较快接任;冷备让执行进程扫描同组任务并竞争空缺,减少每项任务独占备用资源。两者权衡的是接管响应与资源投入,不能只以备用机器数量判断恢复效果。 相关解释见冷热备权衡资源与时延。

原书复制总线把执行、控制和监控分为独立进程,通过ZooKeeper交换配置、任务状态与位点,实际数据复制走生产者到消费者的通道。控制面与数据面分离,避免把高频大体量业务载荷都压到协调服务里。 相关解释见协调节点交换状态而非载荷。

临时节点可表达某个会话仍被服务认定有效,为成员管理提供信号。它不能证明业务线程没有卡死或外部依赖可用;需要业务健康语义时,还要结合进度、负载或主动探测,而不能把会话在线直接等同于服务健康。 相关解释见临时成员不代表进程健康。

工作进程把任务进度写入约定节点,调度者通过读取和监听获取共享状态。状态表示谁报告到哪一步,而非自动保证对应外部效果已提交;设计恢复时需明确进度持久性、更新频率和任务幂等边界。 相关解释见进度汇报显式保存上下文。

控制台修改约定节点,订阅者获知变化后读取并执行相应动作,可减少双方直接通信协议的耦合。共享状态机制仍需定义指令身份与执行反馈,不能把一次数据变更通知当作每个接收者恰好执行一次的业务承诺。 相关解释见控制指令通过共享状态传播。

日志收集器若把任务列表只存在临时节点,失效时节点删除会连同待迁移任务信息一起消失。原书改用持久节点保存分配,用独立状态节点表达运行情况,使失效后仍有依据重新分配任务。 相关解释见任务分配保留持久依据。

全局重分配会因少数成员变化迁移所有任务,策略简单但影响范围大。局部策略把故障节点任务转给较低负载成员,新节点只承接高负载成员的一部分任务;负载评估应与实际任务成本相关,不能仅看CPU瞬时值。 相关解释见局部均衡减少迁移影响。

当状态写入频繁、成员众多且无需逐次即时响应时,监听每次变更会产生大量无效通知。原书选择由监控系统定期轮询,接受一定发现延迟来减少通知流量;是否监听应由所需响应时间与事件成本共同决定。 相关解释见高频状态可用轮询聚合。

昂贵计算若由每个实例重复执行会浪费资源。选出一个负责计算的角色,把结果存入共享存储并通知其他实例读取,可分离计算与服务;角色切换、结果版本和发布完成仍需明确,不能仅靠选出Master保证结果完整可用。 相关解释见选举计算者共享计算结果。

多个客户端同时创建同一路径时,唯一成功的创建可用于竞争角色资格。使用临时节点使会话失效能够触发重新竞争;原语只解决约定路径的占有,不会替应用自动完成故障隔离、续任和外部写入保护。 相关解释见唯一创建提供竞争原语。

竞争者创建相同临时锁节点,创建成功者进入临界区,完成后主动删除;会话失效也会移除节点。失败者监听变化并重试,所有参与者必须遵守同一约定,被保护的外部资源仍需防止旧持有者延迟请求。 相关解释见独占锁依靠节点生命周期。

竞争者创建包含读写类型的顺序节点。读请求仅需等待排在自己前面的写请求,写请求则必须等前面所有请求离开;因此多个读者可以并行,写者需要独占,不能把共享锁解释成数据只对持有者可见。 相关解释见读写锁按请求顺序判定。

所有等待者监听同一父节点时,一次释放会唤醒大量暂时不能执行的竞争者,造成通知和重新拉列表的重复负载。羊群效应来自关注范围过大,真正有效的通知只需送到前置阻碍发生变化的等待者。 相关解释见全体唤醒产生羊群效应。

优化锁等待时,读请求监听自己之前最近的写节点,写请求监听自己之前最近的任意节点。收到删除通知后重新读取并判断条件,减少全体唤醒;若注册时前驱已消失,应立即重判,不能永远等待一个不会再来的删除事件。 相关解释见读写竞争者监听相关前驱。

原书FIFO方案让请求以临时顺序节点排队,最前者执行,其他人监听前驱。它主要提供参与者的有序协调:会话失效会删除节点,也未定义业务消息持久性、确认和重投,不能直接当作可靠消息队列。 相关解释见顺序等待不等于持久消息队列。

参与者注册临时节点,观察成员数量是否达到约定阈值,未满足则等待变化。该条件表达某个时刻的就绪集合,不自动固定放行后成员,也不保证参与者业务全体成功;需要恢复与离开语义时必须额外设计。 相关解释见屏障阈值表达放行条件。

旧主因暂停或断网失去会话,新主接任后,旧主可能恢复并继续认为自己有资格工作。选举应与隔离配合:原书YARN案例利用ACL限制旧角色对相应协调状态的修改,但这不自动隔离所有外部资源操作,资源执行端仍需相应保护。 相关解释见主备切换还需隔离旧主。

RMStateStore保存接任者恢复调度所需的应用、尝试及安全令牌等状态,Active角色初始化时据此继续工作。容易从运行上下文重建的信息可不必同样持久化;应以恢复需求区分状态,而不是将所有内存对象原样写入协调服务。 相关解释见协调存储保存重建所需状态。

原书HBase案例通过RegionServer的临时节点让HMaster感知会话失效,并重新分配分片。协调层提供失效与路由变更的信号;真正恢复服务还包括日志回放和数据接管,节点删除本身不是数据已恢复的证明。 相关解释见成员失效触发分片接管。

原书时代的HBase通过协调服务保存元数据入口位置,让客户端先找到入口再定位数据分片。间接寻址把大量数据位置与少量稳定入口分开;RootRegion路径属于历史实现,不能当作所有HBase版本的现行访问方式。 相关解释见元数据入口提供间接寻址。

RegionServer失效时,尚未进入数据文件的更新需要从日志恢复。原书SplitLog把日志按分片组织并分配给多台机器处理,通过协调节点领取任务、反馈成功或失败,加快恢复;任务分配状态与实际数据回放结果仍需一致处理。 相关解释见恢复日志拆分为并行任务。

把复制日志文件与进度保存在共享协调状态中,接任进程才有依据继续推送。断点提高恢复能力,但复制效果与记录断点之间可能有故障窗口,不能据此承诺消息或数据不会重复,也不能省略消费端幂等处理。 相关解释见复制断点独立于执行进程。

多个应用或集群共用ZooKeeper时,应显式分配不同根路径,避免元数据互相覆盖。原书以HBase的zookeeper.znode.parent配置举例;路径分隔解决命名冲突,ACL、安全隔离和容量干扰仍需分别管理。 相关解释见共享集群须划分路径边界。

原书Kafka案例以ZooKeeper维护Broker、Topic和旧消费者协调状态,适合学习历史控制面设计。Kafka 4.0官方升级文档已明确移除ZooKeeper模式,使用KRaft;因此本节路径、注册和Offset示例不构成新版本部署或客户端接入指引。 相关解释见历史Kafka协调不可照搬。

原书消费模型让同一分组中的一个分区分配给一个消费者,不同分组可独立消费相同主题。唯一归属是相对消费组而言,并不代表整个系统只有一个消费者能读取该分区,也不意味着故障重分配时业务效果恰好发生一次。 相关解释见消费分区归属限定于组内。

记录每个分区的消费位点,让消费者重启或换人后继续读取。位点应该与业务处理完成的定义相配:记录得早可能漏处理,记录得晚可能重放;原书把位点存在ZooKeeper是旧实现选择,不是可靠消费的充分条件。 相关解释见消费位点支持接任恢复。

在原书Metamorphosis的组内分配模型中,一个分区同时分给一个消费者。消费者多于分区时会出现闲置,少于分区时部分消费者承担多个分区;分区按数量均分也不保证按消息量或处理成本均衡。 相关解释见分区数量约束消费并行度。

生产者通过协调状态变化剔除失效分区,但故障发生到被发现之间存在窗口,期间发送仍可能失败。自动发现改善后续路由,不会让已经发出的请求自动可靠完成,发送方还需处理结果未知、重试和重复问题。 相关解释见感知故障之前仍可能失败。

原书Dubbo注册中心按服务名划分路径,再分providers与consumers,消费者只订阅所需服务的提供者变化。结构化路径让通知范围贴合依赖范围,减少无关变化扩散;服务调用仍在客户端与提供者之间执行。 相关解释见注册目录按服务收敛通知。

提供者用临时节点登记服务地址,会话失效后地址被移除,订阅者由变化更新本地列表。它降低了永久遗留注册的风险,但会话在线不等于业务健康,通知到达前调用方仍可能尝试故障端点。 相关解释见临时注册减少失效残留。

Canal案例通过模拟MySQL副本交互向源库请求Binlog,再把日志解析为可消费变更。协调服务管理角色与消费位点,真正的数据来源是数据库日志;这与直接修改源表或依赖业务代码主动发事件不同。 相关解释见日志订阅复用复制协议。

原书Canal案例让备用实例在运行节点消失后延迟竞争,让原执行者有机会恢复资格,减少无谓重分配。这是降低抖动的策略,会牺牲接管时延;固定等待无法证明旧执行者已停止,不能替代旧主隔离。 相关解释见延迟抢占缓解短暂失联。

原书Otter把同步流程分为Select、Extract、Transform与Load,阶段管理执行线程,调度器通过协调节点交接任务。每一阶段的请求节点表达待处理工作,完成后转交下一阶段;外部处理与节点删除之间的失败窗口仍需恢复语义。 相关解释见分阶段调度明确交接状态。

多个工作节点观察同一任务时,通过竞争创建任务锁节点选择执行者,未取得者等待锁变化后再竞争。锁解决当前任务角色的协调,不保证先前执行者未完成一部分外部写入;恢复重试仍需识别任务身份和已完成效果。 相关解释见任务竞争独占当前执行权。

在原书Otter部署中,远端Observer就近服务读取,更新转交投票集群决定。这样可把投票通信保留在主要机房,同时减少远端读取延迟;远端写入依然承担跨地域通信,普通读取的新鲜度也应遵守ZooKeeper实际保证。 相关解释见跨地域观察者减少远程读取。

终搜案例把业务分片、副本和配置等较稳定信息放入持久元数据,把机器状态组织为运行视图。持久信息支持容灾与扩容,动态信息用于监控和调度;把两类信息分开,可避免恢复方案依赖所有易失状态始终完备。 相关解释见静态元数据与运行视图分离。

远端ImageNode保存快照可以提供恢复材料,但若仍需人工找文件、复制和重启,停机时间就依赖人工流程,异步快照还可能落后。原书用多副本与自动选举改造中心节点,说明数据备份与服务故障接管是不同能力。 相关解释见快照备份不等于自动接管。

原书终搜基于ZooKeeper 3.4.5扩展QuorumPeer:CenterNodePeer重写角色设置方法,并把变化交给CenterNodeCnxn组织对外服务。角色不确定时暂停相关服务,确定后按角色初始化;这种与内部生命周期耦合的扩展属于特定版本设计,升级时需重新验证接口。 相关解释见角色切换驱动服务生命周期。

终搜客户端把从协调服务读取的路由信息保存到本地,无法连接协调服务时可尝试使用历史配置。它提高短暂故障中的独立运行能力,却可能指向已变更地址;降级应明确过期信息的可接受范围与失败处理。 相关解释见路由本地备份提供降级入口。

终搜案例区分增加某个索引分区的副本与增加新的索引分区,前者扩充同一数据范围的副本,后者改变数据划分。原书把两者称为垂直和水平扩容是该案例用语,不应与通用的单机资源升级定义混用。 相关解释见副本扩展与分片扩展分开。

原书JStorm中,Nimbus根据资源与现有分配计算Task落点,将结果写入共享节点,Supervisor监听后管理对应Worker。控制决策与执行进程分离,节点记录配置,执行者还需反馈状态;配置发布完成不等于任务已经启动成功。 相关解释见调度状态通过节点分发。

原书JStorm把deactivate状态传播给Worker,再由Task在每个批次结束后检查并挂起。控制状态的传播与业务实际停止有时间差,检查边界影响停止响应,也决定是否会中断当前批次;不能把发出命令当作所有任务已停止。 相关解释见状态切换在业务边界生效。

原书JStorm优化将存活检查从扫描大范围配置改为读取对应任务心跳,取消无关Watcher,并适度延长心跳周期。降低协调负载要从所需判定信息出发;减少请求同时会改变发现时延,参数需与故障容忍要求配合。 相关解释见按需查询减少协调压力。

短暂无响应时立刻退出全部工作进程可能扩大影响,适当重试可提高恢复机会。但重试次数增加也延长无服务或资格未知状态,必须同时限定总等待、处理会话失效并保护业务安全,不能靠无限重试掩盖永久故障。 相关解释见恢复重试受业务等待约束。

原书依据 · 51 处

技术内幕:系统模型与客户端

本章系统模型、客户端、会话、启动、选举、角色、请求处理与存储均已读。节点版本保护并发更新,Watcher只传轻量变化信号,网络对象与本地回调分工;客户端把连接、会话和请求等待分别建模。

ZXID标识服务全局更新顺序,节点version只统计该节点的数据更新,两者表达不同范围。比较节点是否被并发修改应使用接口要求的节点版本,不能把ZXID直接作为setData的version参数;节点删除后重建也需重新判断对象身份。 相关解释见节点身份不等于事务版本。

原书版本中,临时节点不允许有子节点,因为它的生命周期受会话控制。需要在同一路径下同时保存长期任务信息和成员存续状态时,应把持久父节点与临时叶子分开,不能把临时节点当作随进程消失的完整子目录。 相关解释见临时节点必须是叶子。

Stat把节点创建、最后数据修改及子节点集合变更分别记录为czxid、mzxid与pzxid,并附有版本和时间等属性。子节点内容更新不等于父节点子列表变化;观察状态时应选与所问变化范围对应的字段。 相关解释见节点状态字段各有范围。

乐观并发控制允许读取和计算先进行,提交时校验自读取后数据是否发生冲突。若校验与写入不处于受保护的提交流程,校验后仍可能被并发修改;不能把客户端先查版本、再无条件写入视为有效的乐观锁。 相关解释见乐观校验必须与写入协调。

NoAuth表示当前操作未满足目标节点的ACL,AuthFailed则表示认证环节未能通过,例如原书的不支持scheme案例。两者所处阶段和客户端状态不同,排查时需要区分身份建立失败与身份没有某项资源权限。 相关解释见无权限与认证失败不同。

WatchedEvent便于客户端与服务端在程序中处理通知,WatcherEvent承担可序列化的网络表示。发送时转换成传输对象,接收后还原成逻辑事件,避免把应用回调对象本身通过网络执行;两个类型承担不同边界的表示责任。 相关解释见逻辑事件与传输对象分工。

客户端把Watcher和路径保存在本地注册上下文,网络请求只携带是否注册监视的标志。服务器保存对应连接与路径的关联,事件到达后客户端再查找并执行本地回调;因此回调对象无需也不会被传到服务器运行。 相关解释见注册回调保存在客户端。

客户端先把监视意图与请求一起保存在Packet,响应完成时根据请求结果决定是否把Watcher注册到本地管理器。这样把本地回调状态与服务端请求结果对应起来,不能仅因应用调用过带watch参数的方法就认定注册一定成功。 相关解释见请求完成后登记本地监视。

服务端WatchManager用路径到Watcher集合的索引寻找某个节点变化的订阅者,用Watcher到路径集合的索引管理某个连接涉及的节点。两个方向支持事件触发与连接清理等不同访问,需要一致维护,不能把它们当作重复存储而任意去掉一份。 相关解释见双向索引服务不同查询。

服务端触发一次性Watcher时,先提取并移除对应记录,再发送通知;客户端收到后也从本地集合中移除对应Watcher并排队执行。两侧清理体现一次性语义,持续监听需要重新建立,而不是在旧记录上反复触发。 相关解释见触发时先移除监视记录。

服务端把实现Watcher接口的ServerCnxn用于通知发送:它封装事件、标记通知响应并通过连接传给客户端。接口名相同不等于业务回调发生在服务端,这个适配对象承担的是跨网络传递职责。 相关解释见连接对象转发事件通知。

EventThread从待处理队列区分Watcher事件和异步结果,分别调用process与processResult。它把回调组织为串行处理流程,顺序容易理解,但任一耗时回调都可能拖慢其他结果;业务逻辑应控制耗时并谨慎安排异步转交。 相关解释见事件线程串行处理回调。

ZooKeeper ACL由身份方案、对应身份和允许操作组成。方案决定怎样解释与验证身份,身份指出适用主体,权限决定允许的动作;三者缺一就不能准确表达资源访问规则,也不能把节点上有ACL误当作所有操作都被禁止。 相关解释见ACL组合身份策略和操作。

原书Digest方案用摘要和Base64形式保存身份表示,但把摘要称作加密容易误导。摘要不是可逆加密,Base64也是编码;这些处理不为客户端到服务器的认证流量自动提供传输保密性,不能据此宣称网络中的凭据已被加密保护。 相关解释见编码摘要不等于加密通道。

world:anyone让规则适用于所有客户端,开放哪些动作仍由具体权限位决定。给所有人READ与给所有人全部权限效果不同,因此不能把World方案本身等同于所有操作均开放;应检查主体与权限的组合。 相关解释见公开主体仍受权限位限制。

AuthenticationProvider让身份方案以统一接口接入:声明scheme、处理认证输入、验证身份格式并匹配ACL表达式。扩展点把不同身份机制与通用权限检查分开;插件须在目标服务器按正确配置注册,不能只修改客户端scheme就产生新能力。 相关解释见可插拔认证分离协议接入。

原书Super方案允许配置的管理身份越过普通节点ACL,用于处理业务身份退出后遗留的受限节点。它提供恢复能力,也扩大权限范围;不能把持久节点拥有者已退出视作节点可以被任意会话清理的依据。 相关解释见超级身份扩大恢复权限。

原书Jute沿用案例表明,替换基础序列化组件要同时考虑旧客户端、旧服务端与存储格式的兼容,而非只比较单次编解码性能。若原组件并非主要瓶颈,迁移复杂性可能高于收益;原书讨论的是当时取舍,不能推断替代组件永远没有价值。 相关解释见兼容成本影响组件替换。

zookeeper.jute集中描述包、记录与字段类型,构建时由对应生成器产生实现Record的语言类型。统一记录定义帮助多语言共享协议结构,生成文件应追溯定义源;直接改生成类容易在重新构建时丢失并造成语言间不一致。 相关解释见记录定义驱动多语言生成。

Jute记录按约定顺序写入字段,再按相同类型与顺序读取。Archive负责具体编码,Record负责对象字段组织;二进制实现不能仅凭相同tag名字自动纠正字段重排,演进协议时必须维护双方一致的布局。 相关解释见编解码依赖字段顺序约定。

原书通信格式在消息前放长度,再组织请求或响应的头与体。长度界定一帧的字节范围,头部说明关联请求、操作或错误,消息体承载具体操作数据;TCP字节流有序并不自动提供完整业务消息的分帧。 相关解释见帧长度与业务头分工。

客户端请求携带xid,服务端响应返回对应编号,客户端用它核对等待队列中的请求上下文。xid表达客户端请求关联,与标识全局更新顺序的ZXID不同,也不能直接替代业务幂等键。 相关解释见请求编号关联响应上下文。

TCP连接成功后,还需要ConnectRequest与ConnectResponse协商会话身份、超时等状态,之后才通知应用连接完成。把传输连通与服务会话建立分层,有助于区分端口可连、会话不被接受和业务请求失败等问题。 相关解释见连接建立与会话握手分开。

Chroot把客户端路径映射到指定服务端子树,请求时加根前缀,收到事件时去掉前缀,让应用按自己的根路径操作。它是路径视图与命名隔离,不能替代服务端ACL,也不能阻止另一个未使用该前缀的客户端访问开放路径。 相关解释见路径前缀由客户端适配。

原书StaticHostProvider先随机打乱候选地址,再以循环游标选择下一个,并在绕回已尝试范围时加入等待。随机化减轻大量客户端总从同一首地址连接的倾向,轮询提供失败后的候选;该列表顺序不决定服务器的Leader身份。 相关解释见打散后轮询分散连接。

HostProvider把候选地址选择抽象为size、next和onConnected接口,原书要求返回非空有效候选并保证列表非空。可在保持契约的前提下组织动态地址或就近选择;地址变化仍需处理解析失败和连接状态,不能只修改一个数组就认定所有会话完成迁移。 相关解释见地址提供接口承载选择策略。

outgoingQueue保存等待发送的请求,pendingQueue保存已发出而等待响应的请求。两队列表达不同生命周期,收到普通响应后再匹配原Packet并完成结果处理;请求离开发送队列并不意味着服务端执行成功。 相关解释见发出请求仍需等待响应。

SendThread维护网络读写、心跳与重连,并将通知交给EventThread;后者执行Watcher与异步结果回调。分工让协议I/O与应用事件分开组织,但耗时回调仍会阻塞同一事件队列,不能把两个线程理解为任意回调都能并行。 相关解释见网络线程与事件线程分工。

客户端提出sessionTimeout,服务端再按自身允许范围协商出实际超时。客户端配置不是无条件生效的承诺;排查会话失效时应查看协商后的期限与通信状况,不能只对照本地构造参数。 相关解释见协商超时决定会话期限。

原书sessionID案例把服务器编号与时间派生序列放入不同位段。旧算法有符号右移可能把符号位扩展到预留的服务器编号区域,改用无符号右移可保持高位布局;书中说明这一缺陷已在3.4.6修复,不应作为当前未修复问题传播。 相关解释见位移符号影响字段隔离。

SessionTracker把到期时刻相近的会话归到同一时间桶,检查线程按桶处理过期项。收到有效请求后把会话移到新的桶,旧桶剩余者到期清理,减少每次遍历所有会话的成本。桶粒度也意味着实际清理时间不等于精确到每毫秒。 相关解释见时间分桶批量检查过期。

原书示例把当前时间加会话超时后,按检查间隔向下一桶边界归整。若当前为1370907000000毫秒、超时15000、桶间隔2000,则原始期限1370907015000归到1370907016000;此处的额外等待来自分桶粒度,不是客户端又成功续了一次租。 相关解释见超时时刻向桶边界归整。

会话活性不只由专门PING维持,正常读写请求也能促使服务端更新活性期限。客户端一段时间没有其他通信时再发送PING,减少重复心跳;有业务请求流量仍不保证每次请求已被服务端接收,连接与会话状态必须按实际反馈处理。 相关解释见普通请求也能激活会话。

会话清理涉及节点、跟踪器和连接等多个步骤,不能在清理期间继续接收新的会话操作。先设置关闭标志,再走一致的关闭请求流程,建立后续清理的边界,避免旧会话一边失效一边又创建新资源。 相关解释见关闭标记先阻止新请求。

清理会话的临时节点时,仅查看已应用的内存树可能漏掉正在创建、尚未应用的节点,也可能重复删除已进入删除流程的节点。原书把待提交的创建和删除变更合并到清理集合,说明资源回收必须考虑已接受但尚未物化的状态。 相关解释见会话清理考虑在途变更。

会话失效不是某台机器单独从内存抹去一个对象,而需作为关闭请求进入服务端处理流程,使会话及临时节点清理在复制状态中保持一致。最后再移除会话跟踪与关闭网络连接,避免本地连接清理被误当成全局角色已经释放。 相关解释见会话关闭通过集群请求生效。

ConnectionLoss表示客户端失去可靠通信,原更新可能尚未执行,也可能已执行而响应未达。重连后应先按业务身份、版本和可查询状态判断结果,再决定是否重试;不能把原书的简单重试示例推广为所有更新均可无条件重复。 相关解释见连接丢失不能证明更新失败。

会话过期后,重连同一TCP端点也不能恢复旧会话资格,相关临时节点可能已被清理。应用需要新建客户端会话,并依据业务状态重建注册或竞争角色,不能把原锁与原临时路径仍视为自己拥有。 相关解释见会话过期需要重建资格。

同一有效会话重连到新服务器后,旧连接的延迟请求若继续执行,可能覆盖新连接发出的较新更新。原书会话所有者检查用于识别并拒绝不再持有会话处理资格的请求,使连接迁移不破坏同一客户端的请求顺序。 相关解释见会话转移隔离旧连接请求。

启动过程中网络监听可先建立,之后还需要恢复本地状态、启动会话跟踪、串联请求处理器并注册服务实例。健康判断应区别端口可连与协议服务已就绪;仅用TCP建连成功作为启动验收会过早放行流量。 相关解释见端口可连接早于服务就绪。

单机启动在本地恢复与处理链就绪后服务,集群启动还需确认角色、建立Leader与Learner通信并恢复一致历史。启动进程并不等于具备投票和服务资格,应把本地初始化、选举完成与同步激活分别观察。 相关解释见集群启动多出选举与同步。

Leader为每个Learner连接创建LearnerHandler,组织注册、数据同步、转发请求与确认消息。连接级上下文把不同副本通信分开管理;副本建立连接之后仍须完成协议同步,不能只因存在Handler就计为可服务成员。 相关解释见连接处理器承载副本通信。

原书FastLeaderElection的候选排序应区分peerEpoch与electionEpoch:前者描述候选历史周期,后者是本轮选举逻辑时钟。3.4.6源码按候选peerEpoch、ZXID、SID依次比较,轮次处理另行决定是否接受同轮或更新轮次;不能混用两个epoch来解释排序。 相关解释见选举先比较候选历史。

选票集合按发送者SID保存当前票,统计多少有投票资格的成员认可同一候选,而不是累计收到多少条消息。重复发送不会凭消息次数增加票数;默认多数派包含Leader自己的投票,Observer不贡献选举票。 相关解释见票数按投票者身份统计。

当法定集合已选出并激活Leader,后启动节点获取既有角色信息并同步,不因自己的SID更大就必然重新选举。原书的最大ZXID、同值最大SID规则适用于相应选举过程,不能推断集群运行中永远由全体最高编号机器担任Leader。 相关解释见迟到节点跟随已有领导者。

新的选举提升logicalclock,处理较新轮次时更新本地时钟并清理旧票,较旧轮次不能继续算入当前结果。轮次为消息提供归属,防止历史投票混入新决定;候选是否更优仍由候选历史等条件判断。 相关解释见选举轮次隔离历史选票。

选举通信双方都可能同时发起连接,原书用SID大小确定保留的主动连接方向,关闭重复连接并由约定一方建立。确定的消歧规则减少双向重复会话;此处SID只用于通信组织,不应被当作节点健康或业务优先级。 相关解释见重复连接用确定规则消歧。

QuorumCnxManager为不同远端维护发送队列与发送器,接收消息进入统一接收队列。按目标分组让消息上下文和发送进度分开,便于连接管理;某个队列可发送不代表整个集群已满足选举法定条件。 相关解释见选举消息按目标分队列。

原书选举通信在必要时重发最近选票以弥补未处理或重连情况,接收方再按成员、轮次和当前票处理重复。重发与去重判定共同推动协议,不能把TCP可靠传输等同于对端已经应用了选票。 相关解释见重发需要接收端容纳重复。

事务先由PrepRequestProcessor完成会话、ACL及版本等校验,再生成提案与记录日志,待法定确认提交后才应用到内存树并响应。预处理成功只是后续协议的入口,不意味着客户端已取得最终更新成功结果。 相关解释见预处理校验与提交分阶段。

Leader与Follower在记录事务日志后分别通过本地或网络ACK确认提案,提交处理器等待法定集合决定,再由末端处理器应用状态。记录、接受、提交与应用是不同阶段,不能仅看到日志条目或ACK就认定所有副本都已展示新值。 相关解释见日志确认与状态应用分开。

原书Leader处理链维护已获提交资格但尚未完成应用的提案,交给最终处理器后再移除。这个过渡集合表达提交与内存应用之间的差异,为同步等流程提供上下文;不能把它与尚未决议的提案队列混为一谈。 相关解释见待应用集合连接提交与同步。

Observer可本地处理读取并转发更新,不参与提案投票。因为它未在投票阶段缓存相同提案上下文,Leader以包含事务内容的INFORM告知提交;Follower已收到PROPOSAL,提交时可只依据COMMIT推进。不能把不投票误解为完全不接收更新。 相关解释见观察者接收完整提交内容。

副本同步用DIFF表达差量补齐、TRUNC要求截断不属于当前历史的尾部、SNAP提供完整状态、UPTODATE标记同步阶段完成。消息名反映不同恢复动作,不能把所有落后或分歧都当作只需追加缺失日志的情况。 相关解释见恢复消息表达对齐方式。

客户端可连接任意服务节点,Leader无法直接收到所有客户端心跳。Learner汇总活性信息供Leader维护会话,重连时还可通过REVALIDATE确认会话是否有效;本地连接存在与集群确认会话有效是不同层次。 相关解释见会话活性汇总到领导者。

连接握手携带客户端最后见过的ZXID,原书服务端在自身状态落后于客户端时拒绝接受该会话连接。这样避免客户端重连到较落后副本后观察倒退状态;传输连通不是接受会话的唯一条件。 相关解释见重连拒绝倒退的服务端。

事务头记录会话身份、客户端序号、全局事务标识、时间和操作类型,使日志与提案流程能识别同一事务。客户端序号关联请求,ZXID标识复制顺序,不能因它们同时出现在一个结构中就互相代用。 相关解释见请求事务头关联提交身份。

已进入处理但尚未应用到内存树的变更仍会影响后续请求。outstandingChanges保存这些中间状态,供会话清理等流程参考;只看当前物化数据会遗漏已在途的创建、删除或版本变化。 相关解释见预备变更参与后续校验。

CommitProcessor将待处理请求与已经达成提交条件的请求分别排队,再匹配当前等待事务后交给最终处理器。这个衔接维持请求处理顺序,也把协议确认与本地执行边界连起来;提交消息到达不等于能随意越过前面的事务。 相关解释见提交队列匹配原请求。

GetData不改变复制状态,无须为本次读取发起提案投票,但仍检查会话、目标节点和ACL,并可登记监视。较短读取路径解释其性能优势,不意味着读取绕过安全检查或自动获得跨客户端最新值。 相关解释见本地读取仍需权限校验。

DataTree以路径到DataNode的映射定位节点,DataNode保存数据、ACL、状态、父节点引用与子节点名称集合。树的层级关系与路径索引共同服务不同访问方式;数据模型独立于网络连接和请求处理,便于恢复与状态操作集中实现。 相关解释见数据树用路径索引节点。

除路径索引外,DataTree还按会话ID维护临时节点集合,使会话失效时能直接找到需清理的节点。维护第二个索引是为了资源生命周期查询,而非复制另一份独立真相;节点创建与删除必须保持两个方向一致。 相关解释见临时节点另按会话索引。

事务日志以文件中首条事务的ZXID作后缀,可据此定位可能包含目标事务的日志段,并识别所在领导周期。文件名不是该文件最后提交事务的编号,也不能单凭它推断文件中所有记录均已提交。 相关解释见日志文件名定位起始事务。

事务日志预留较大文件空间以减少频繁扩容的开销,因此文件大小可远大于有效事务内容。原书目录示例的67108880是字节级大小,约64MiB,不是正文误写的67108880KB;磁盘占用与有效记录数必须分开观察。 相关解释见预分配大小不是有效日志量。

日志追加先序列化事务并写入缓冲流,强制落盘再要求底层文件通道同步。写入缓冲、操作系统已接收和持久介质上的可恢复状态不是一回事;关闭强制同步会改变故障时的持久性边界,不能只把它当作免费的性能开关。 相关解释见日志刷盘区别于写入缓存。

事务序列化后附带校验值,读取时可检查日志内容是否与写入时一致。校验帮助发现损坏,不等于能自动修复内容,也不能证明记录属于已提交历史;字节完整性与协议合法性需要不同依据。 相关解释见日志校验发现字节损坏。

原书日志文件按较大块提前分配空间,在剩余空间较小时扩充,减少随每次追加逐步扩展文件的开销。预分配粒度应与存储环境及容量管理配合,不能由预留块大小推出每段固定有同样数量的事务。 相关解释见日志预留减少频繁扩容。

副本可能带有旧Leader尚未进入最终历史的尾部记录,重连后按新Leader确定的合法前缀截断。截断目标来自协议对齐结果,不能把任意较大的本地ZXID都当成更可靠数据,也不应按原书简化描述直接手工删除所有相关日志文件。 相关解释见截断保留合法历史前缀。

快照文件以开始时的ZXID标记恢复边界,包含节点树与会话超时信息。恢复时还需回放对应边界之后的日志来订正状态;不能把异步生成的快照直接当成某一时刻全部事务已冻结的一致业务导出。 相关解释见快照边界决定回放起点。

原书不让所有副本严格在同一事务计数点生成快照,而在设定区间内随机触发,降低集群同时承担快照I/O与序列化成本的机会。随机化分散时间,不会减少每次全量快照本身需要处理的数据量。 相关解释见随机快照分散集中开销。

启动先恢复可用快照中的节点树与会话信息,再按序应用快照边界后的日志,得到更完整的内存状态。快照缩短回放长度,日志补足快照遗漏和后续更新;只保留其一可能丢失必要恢复材料。 相关解释见快照与日志承担互补恢复。

原书恢复流程优先尝试最近快照,反序列化和校验成功后即可使用;最近文件损坏时才继续尝试较旧候选。保留多个恢复点可提高可恢复性,但较旧快照仍需完整后续日志,不能只因存在备用文件就认定数据必可恢复。 相关解释见恢复选择可校验的快照。

日志回放除了更新节点与会话状态,还通过PlayBackListener把相应事务转换为近期提案缓存,供落后副本快速同步。恢复过程可能同时构建物化状态和派生加速结构;缓存不应成为替代持久恢复依据的唯一真相。 相关解释见回放同时重建同步缓存。

数据加载后还需核对事务ZXID中提取的历史周期与磁盘上的currentEpoch、acceptedEpoch记录。节点数据恢复成功并不自动保证协议承诺状态正确,服务重新加入集群前必须保持数据与领导周期状态相容。 相关解释见恢复校验领导周期状态。

副本与Leader存在共同历史、且缺失部分位于Leader近期提案缓存范围内时,可逐项发送Proposal与Commit完成差量同步。编号位于最小和最大范围之间还不够,必须确认其确实属于共同历史,不能仅按数值区间跳过分歧检查。 相关解释见差量同步依赖可用日志窗。

旧Leader可能独自写下未传播的事务,之后新Leader在新周期推进历史。旧节点回归时先退回共同前缀,再补齐新历史;直接在旧尾部继续追加会把互不相容的历史混合起来。 相关解释见分歧尾部先回退再补齐。

副本落后超出近期提案缓存,或缓存不存在且状态不同,Leader不能仅靠缓存补齐,需发送完整节点树与会话信息。全量同步是恢复路径的选择,仍要与后续事务及激活流程配合,不能把收到一份快照当作立刻可服务。 相关解释见缓存不足改用全量状态。

单个副本完成数据同步后,Leader还需等待法定集合满足新周期的同步确认,再通知可开始服务。单副本就绪与集群具备服务资格是不同条件;多数判定按投票成员计算,不能把Observer或连接数直接加入票数。 相关解释见同步完成还需集群门槛。

原书依据 · 78 处

ZooKeeper运维

运维从实际配置与观测视角入手,进一步检验多数派部署、故障域、成员变更与数据恢复链。历史参数值和演示脚本需要版本边界;健康、容量和恢复能力应分别验证。

clientPort指定对外监听端口,dataDir保存快照并可作为事务日志目录的默认位置,tickTime为心跳和会话时序提供基础单位。原书表8-1的tickTime为3000毫秒,而命令样例使用2000;不能把样例值或表中历史默认值直接当作所有版本的必选配置。生产配置应记录实际版本与生效值。 相关解释见配置默认值必须绑定版本。

原书表8-2区分initLimit和syncLimit:前者限制Follower启动并与Leader完成同步的时间,后者约束运行中的心跳响应时间,两者以tickTime为单位。调大超时可能容忍慢同步,也会延后故障发现;应结合数据规模与延迟判断,不能把两项都解释为客户端会话超时。 相关解释见启动同步与持续心跳分开。

原书表8-2中的forceSync控制事务日志写入后是否强制刷盘,fsync.warningthresholdms用于发现慢刷盘。降低持久化要求可能使故障后的数据安全假设改变,不能只按吞吐收益取舍;报警阈值用于观测,不能替代刷盘动作。 相关解释见日志刷盘保护持久承诺。

表8-2给出minSessionTimeout和maxSessionTimeout限制客户端可协商的会话时间,历史默认分别为2倍和20倍tickTime。jute.maxbuffer限制消息或节点数据的规模,调整时须核对客户端和服务端一致性。会话时间限制、编码缓冲上限和请求并发限制服务不同资源边界,不能混作一个容量参数。 相关解释见会话范围与数据大小协商有界。

conf展示当前模式下的部分生效配置,envi展示运行环境;cons定位连接、会话与最近操作,dump关联会话和临时节点。stat包含服务器统计及连接,srvr省略连接信息。先根据故障问题选择观察对象,单条命令无法代表整个集群的健康状况。 相关解释见诊断命令各有观察视角。

ruok返回imok只证明监听与命令处理路径能响应。节点无法处理正常读写或与其他成员失联时,也可能仍返回imok。监控需要验证真实请求路径及集群状态,不能将端口存活等同于协调服务可用。 相关解释见存活响应不代表业务健康。

crst重置连接统计,srst重置服务器统计;JMX也暴露延时和统计重置操作。这些命令不是纯查询,重置后累计值和最大值的时间窗口变化,排障时应记录重置时间,并避免把重置前后差值误解为负流量或性能改善。 相关解释见重置统计会改变观测窗口。

wchs提供Watcher概要,wchc以会话归组显示监听路径,wchp以路径归组显示会话。前者适合找某个客户端订阅了什么,后者适合定位热点路径的订阅者。必要时结合cons把会话映射到连接来源;监听数量只是负载线索,不能直接证明事件已成功消费。 相关解释见监听关系可从两端定位。

mntr按键值对输出延迟、内存数据量和同步信息,Leader还会提供额外指标。将指标持续采集并保留时间序列,才能识别连接、订阅和数据增长趋势;不同角色、统计窗口与重置行为需要一并记录。单次正常数值不能覆盖间歇故障。 相关解释见结构化指标适合连续监控。

JMX不仅展示节点与数据树状态,还允许重置统计、查询Follower等操作。原书远程JMX示例关闭SSL与认证,仅是历史演示配置,不宜直接用于生产暴露;实际接入需限定访问范围、认证与传输保护。观测工具连接成功并不代表所有远端成员属性都可见。 相关解释见管理接口同时包含控制权。

JConsole中本地副本可展示具体Leader或Follower运行指标,其他副本常只有基本信息;InMemoryDataTree展示节点、Watcher及数据规模。诊断时先确认连接的是哪一台、当前扮演什么角色,再解释属性缺失,不能把某台管理视图中没有指标判断为整个集群没有该状态。 相关解释见本地角色决定管理数据范围。

TaoKeeper的自检按创建连接、发布数据、接收变化通知、读取并比对数据的顺序执行,要求多次成功且耗时受限。这比ruok覆盖更多业务路径。实践时应使用独立监控路径并控制频率与清理;原书的三次成功是具体策略,不是任何业务都适用的充分健康证明。 相关解释见健康检查覆盖完整读写链路。

ZooKeeper并非只能部署奇数节点。对普通多数派投票集合,容忍F个节点故障所需最小规模为2F+1;5台和6台都只能容忍2台故障,6台要求至少4台存活。奇数通常以更少机器获得同等容错能力,计数应排除不参与投票的Observer。 相关解释见奇数规模来自多数成本。

多机部署解决单机故障,却未必能承受机房整体失效。若共有N个投票成员,失去某故障域后剩余成员必须严格超过N/2,并能互相通信。逐一枚举机房断电、网络隔离等共同失效,比只统计机器总数更能检验部署的服务连续性。 相关解释见容灾按共同故障域计算。

7个投票节点分布为3/1/3或3/2/2时,任意一个机房消失都还剩至少4个节点。一般条件是每个机房节点数小于总数的一半,并满足剩余网络可达。原书固定N1再枚举的程序产生部分方案,不能据此宣称列举了全部合法分布。 相关解释见三机房分配须逐域验算。

7个投票节点按4/3部署时,少数侧机房故障后4台仍有多数;多数侧故障则剩3台,无法继续多数派服务。两个非重叠故障域不可能同时各自持有严格多数,因此偏向主要机房是明确的容灾取舍,不能宣传为任意机房失效仍可写。 相关解释见双机房多数只能偏向一边。

原书讨论3.4.6时代通过修改配置和整体或逐台重启变更成员。这里的限制属于历史实现,不能直接推断当前版本也只能如此。即使采用滚动方式,也须确认配置一致性与整个过程中法定集合可用;整体停机后会话能否保留依赖恢复和超时细节,不应给出无条件保证。 相关解释见成员变更方案受版本约束。

快照和事务日志共同支持恢复,清理不能仅按文件名或时间各删一批。原书PurgeTxnLog至少保留3份快照及其对应所需日志,zkCleanup.sh是其脚本封装,autopurge组合保留份数与清理周期。原书纯Shell删除例不验证恢复依赖,不应直接作为生产恢复保留策略。 相关解释见清理日志必须保留恢复链。

maxClientCnxns限制单个来源IP连接到某一台ZooKeeper服务器的连接数。超额时拒绝新建连接,已在限额内建立的连接不因此被立即断开。排查Too many connections应核对客户端重复建连、共享出口IP与连接复用,不能把它解释为整个集群总连接数达到上限。 相关解释见连接上限按来源和节点计算。

事务日志顺序写入与持久化处在更新确认路径上,日志磁盘被快照或其他应用争用会增加写延迟。原书建议事务日志使用独立磁盘并与快照分开;同时合理分配堆内存避免换页。独立路径不等于独立物理设备,优化仍须确认实际存储竞争。 相关解释见磁盘竞争拖慢写入确认。

原书依据 · 20 处

Windows部署

同一机器可以启动多个ZooKeeper进程以观察集群协议,但目录、身份、监听和成员端口必须区分。伪集群不提供主机级容灾。

Windows附录通过多份目录、各自dataDir和myid以及互不冲突的端口启动多个进程;成员配置保持一致,.cmd脚本用于启动和连接。这样的伪集群便于观察选举与同步,但共享主机、电源和磁盘故障域,不能据此证明跨机容灾。旧平台脚本与依赖只作原书时代的操作说明。 相关解释见单机伪集群不能模拟容灾。

原书依据 · 1 处

从源代码构建

附录围绕3.4.6的Ant/Eclipse工具链说明构建、调试与打包。固定版本有利于复现书中路径,不能由历史截图推导当前环境兼容或构建成功。

附录以3.4.6、JDK 1.7与Ant 1.9.3演示ant eclipse生成工程、调整Eclipse编译兼容级别、指定端口和数据目录运行,以及ant打包。复现历史代码时应一并记录源码标签、构建工具和编译目标,不能把旧版本成功截图当成当前环境已构建通过,也不把旧Ant流程当作所有发行版的构建指令。 相关解释见历史源码构建须固定工具链。

原书依据 · 1 处

历史重大版本更新

版本更新表记录Observer、multi、认证、监控、清理和错误处理的演化,帮助理解哪些行为受到具体版本影响。表中issue保留为定位线索,相同机制已由正文卡解释,未逐条复制修复清单。

附录按3.3与3.4各发布版本列出功能变化和缺陷修复,例如Observer投票、会话失效后的线程退出、日志刷盘、multi的Chroot支持。定位历史行为时要先确认版本和对应issue,避免将已修复缺陷描述为框架固有特性;附录只截至3.4.6,不提供当前主流版本结论。 相关解释见修复记录限定行为适用范围。

原书依据 · 1 处

源码阅读指引

源码指引把接口、序列化、网络、Watcher、请求链、持久化、选举与认证连接到具体入口。按问题追踪调用与状态,再回到协议语义,避免把目录清单误当作理解。

源码阅读先定位职责:ZooKeeperMain/ZooKeeper是命令行和客户端API入口,ClientCnxn等处理连接与请求,RequestProcessor实现串起服务端处理,persistence管理日志和快照,Leader/Follower/LearnerHandler联系同步协议。围绕一个请求穿过这些边界追踪状态与结果,比只背类名更能理解协作;具体路径和类名限于原书3.4.6源码。 相关解释见按职责追踪源码入口。

原书依据 · 1 处

跨章综合

协议提供的保证要穿过多层接口才到达业务。首先,多数交集必须与提案继承、顺序和恢复规则结合,单独数票不能解释安全性。其次,会话和临时节点描述协调成员,不是外部系统的健康或旧请求隔离证明;资源端校验、幂等与结果查询仍有各自职责。再次,日志、提交与快照恢复需要共同解释,模糊快照靠回放订正,不能直接当作事务一致备份。最后,部署机器数、独立故障域与监控的业务覆盖程度,决定协议假设在运行环境中能否成立。

本书适合作为原理与历史工程实现的桥梁。经典约束可以复用,旧Kafka、HBase组件、API默认值、Ant工具链与扩容流程需要明确时代,不能直接充当当前运行指南。

发散与实践

采用两项计划:读懂选举中的两种周期(文件:ideas/idea-001-读懂选举中的两种周期.md)将术语对应到固定3.4.6源码,已准备官方入口与初步映射;批次写入的故障边界(文件:ideas/idea-002-批次写入的故障边界.md)针对当前资料库的编号、写库和续跑证据设计故障表。前者以阅读提高机制理解,后者沉淀真实任务清单;两项均未宣称完成后续执行。其他配置、缓存、锁和队列候选与这两项重叠或缺少当前真实使用对象,未另凑实验。

生成进度与管理记录

从Paxos到Zookeeper:分布式一致性原理与实践

Skill 版本:v23

执行模式:light

建档进度:done

信息浓度:高

稳定性/时效性:高(沿用总表初评;共识、复制、会话等原理耐久,2015年的API与源码细节需核对)

四象限:经典原理

评级依据:全文含16个实质正文项及嵌入材料已读;提交/共识、ZAB、客户端到提交/存储恢复提供高密度机制解释。经典原理耐久,但API、源码与运维示例截至3.4.6,实践需另核对目标版本。生成时有证据的用语歧义已作边界澄清。

整书笔记:_book_note.md,schema 1,全文讲解已完成。

章节进度追踪表

章节号 章节标题 状态(pending/done) 卡片数
00 问题的提出 done 6
01 分布式架构 done 28
02 一致性协议 done 31
03 Paxos的工程实践 done 27
04 ZooKeeper与Paxos done 25
05 使用ZooKeeper done 40
06 典型应用场景 done 51
07 技术内幕:系统模型与客户端 done 78
08 ZooKeeper运维 done 20
A Windows部署 done 1
B 从源代码构建 done 1
C 历史重大版本更新 done 1
D 源码阅读指引 done 1

非正文排除

spine项 类型 排除理由
0 封面 仅封面标识
1 空白页 仅“未知”标题,无正文
2 版权页 出版信息已核验,无技术正文
3 内容简介 全书内容范围介绍,无新增技术解释

待关联术语

术语名 出现章节 一句话语境
去IOE 01 架构演化背景,未据此扩写当前公司技术格局。
DNS 01 网络通信依赖示例。

引用文献

标题 类型(书/论文/框架/源码项目) 出现章节 一句话语境
深入理解计算机系统 书 00 并发定义的出处,未对该书作完整介绍。
分布式系统概念与设计 书 01 消息通信协调的定义出处。
Time, Clocks, and the Ordering of Events in a Distributed System 论文 01 全局时钟与事件顺序的延伸阅读。
Paxos Made Simple 论文 02 单值共识的承诺、接受与安全继承;不等同整个ZAB实现。
Chubby 源码项目 03 锁、会话、序列器及复制服务的工程案例;未声称开源实现可完整获取。
Apache ZooKeeper 源码项目 04–08/D ZAB、请求、存储、选举与运维的历史3.4.6实现。
Apache Curator 框架 05 API与recipes封装,个别语义以固定2.4.2源码澄清。
Hadoop/YARN、HBase、Kafka 框架 06 原书时代的大型系统协调案例,明确历史架构范围。
Dubbo、Canal、Otter、JStorm 框架 06 注册、同步、调度与状态协调案例。
BASE: An Acid Alternative 论文 01 BASE思路的延伸参考,原书给出介绍。
Eventually Consistent-Revisited 论文 01 最终一致性条件及变体的引用来源。

资金安全问题案例

问题标题 问题卡 解决方案卡(如有) 出现章节 一句话说明
最后一票重复出售 最后一票重复出售 未展开具体协议 00 多入口对有限资源作不相容成功承诺。
跨银行部分成功 跨银行部分成功损失资金 失败转账恢复已扣款 01 已取款而目标存款失败,恢复目标不是已实现可靠补偿。

实践卡进度

序号 实践标题 实践方式 状态(pending/done) 关联章节 产出

| 001 | 读懂选举中的两种周期 | 实现深读 | done | 07/D | 官方固定源码入口、初步映射和两层阅读计划;后续未执行 | | 002 | 批次写入的故障边界 | 真实任务 | done | 03 | 4场景桌面推演与恢复清单计划;未执行 |

实践候选筛选:done(已筛选完毕)

采用选举实现深读与当前写入任务两个不同目标;协议横向比较与缓存/锁实验同前者重叠,历史部署缺少当前真实使用需求,暂不另成卡。轻量模式不执行生成后的复核、独立审查及优化。

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

主题索引

分布式存储与复制

比较 GFS、HDFS、BigTable、MongoDB、RabbitMQ 等系统的租约、写确认、副本同步、选主与脑裂处理。

501 张卡片 · 64 本书

主题索引

高可用与异地多活架构

比较主备、主从、集群、分区与异地多活等高可用架构的适用范围、数据同步与代价。

398 张卡片 · 79 本书

主题索引

指标与监控

时序模型与拉推采集、黄金指标与分位、探针与 APM、容量与负载、监控分层。

382 张卡片 · 58 本书

主题索引

分布式共识与领导者选举

比较分布式共识、领导者选举、副本数量与一致性模型的可靠性取舍。

376 张卡片 · 41 本书

主题索引

测试有效性与验证手段

比较单元测试、变异、模糊测试、静态分析与故障注入各自能证明什么。

366 张卡片 · 63 本书

主题索引

缓存架构与失效问题

比较缓存穿透、雪崩、热点等问题的成因与应对方案。

345 张卡片 · 58 本书

主题索引

容量规划与资源调度

比较冗余容量、故障域、逻辑与物理资源解耦等容量规划与调度方法。

344 张卡片 · 74 本书

主题索引

分布式事务与一致性

比较内部与外部一致性、XA/2PC/3PC、CAP 与 BASE,以及可靠事件队列、TCC、SAGA、AT 等柔性事务方案。

308 张卡片 · 61 本书

主题索引

服务发现与网关

比较服务发现范式、注册中心的 CAP 取舍与实现路线、网关与 BFF,以及地域与区域的流量边界。

286 张卡片 · 70 本书

主题索引

认证与密码学基础

比较 HTTP 认证方案、OAuth2 与 JWT、会话状态,以及摘要、加密、签名、证书与 TLS 的密码学基础。

253 张卡片 · 58 本书

主题索引

CI/CD流水线设计

流水线的资源模型、任务隔离与显式依赖、定义与运行分离、事件触发,以及构建/发布/运行分离和配置外置如何让同一制品安全跨环境交付。

231 张卡片 · 36 本书

主题索引

单机高性能与I/O模型

比较进程/线程并发模型、I/O 多路复用、Reactor 与 Proactor 等单机高性能设计。

226 张卡片 · 46 本书

主题索引

备份与故障恢复

比较备份独立性、恢复可验证性与恢复阶段的设计要点。

198 张卡片 · 40 本书

主题索引

分层、洋葱与六边形架构

比较分层、洋葱与六边形架构如何隔离核心业务逻辑与外部技术细节,以及各层职责与调用规则。

196 张卡片 · 43 本书

主题索引

一致性模型与CAP权衡

比较顺序一致性、线性一致性、外部一致性等一致性模型,以及 CAP、弱 CAP、HAT、PACELC 对系统取舍的刻画。

193 张卡片 · 49 本书

主题索引

事务与离线并发控制

系统事务的隔离与锁,以及跨越多个请求的业务事务如何用乐观/悲观离线锁、粗粒度锁和隐含锁保持一致。

188 张卡片 · 35 本书

主题索引

最小特权与访问控制

比较最小权限、多方审批、紧急绕过与访问审计的设计取舍。

175 张卡片 · 72 本书

主题索引

性能剖析与诊断工具

比较采样剖析、火焰图、执行追踪与调用栈诊断的使用方法和解读边界。

168 张卡片 · 34 本书

主题索引

负载均衡

比较负载均衡的分层组合方式与各类分配算法的取舍。

163 张卡片 · 55 本书

主题索引

数据交换格式设计

比较数据交换格式的简洁性、互通性与安全解析要求。

146 张卡片 · 38 本书

主题索引

服务适配与兼容性

比较服务组合中接口与协议失配的分类、适配器的生成与合成方式,以及兼容性分层与组合验证。

146 张卡片 · 38 本书

主题索引

分布式锁与全局ID

跨进程互斥的分布式锁实现与取舍,以及全局唯一 ID 的生成方案和分布式计数。

140 张卡片 · 27 本书

主题索引

异步编程与结果编排

比较 Future、回调、监听器与阶段式编排在阻塞、线程归属、组合与异常传播上的差异。

140 张卡片 · 30 本书

主题索引

可观测性工程化

三支柱的关系与成本、自建与采购、成熟度演进、组织文化与工具化落地。

112 张卡片 · 27 本书

主题索引

故障、部分失效与分布式时钟

比较故障与失效、部分失效、网络与超时的不确定性、时钟漂移与进程暂停,以及系统模型如何界定这些假设。

112 张卡片 · 41 本书

主题索引

隔离级别与并发控制

ACID 各自的边界,脏读、不可重复读、幻读与写偏斜分别由什么机制挡住:两阶段锁与意向锁、MVCC 快照与可见性判断、可串行化快照隔离的冲突检测,以及死锁成因、锁粒度与长事务的代价。

109 张卡片 · 18 本书

主题索引

存储常用数据结构

比较布隆过滤器、跳表、LSM 树、Merkle 树、Cuckoo 哈希等在存储系统中以空间或精度换效率的数据结构。

108 张卡片 · 30 本书

主题索引

投递语义:不丢与不重

比较至少一次、最多一次、恰好一次与幂等的组合,确认、重投、死信与补偿怎样把「不丢不重」落成可实现的条件。

107 张卡片 · 35 本书

主题索引

配置中心与配置治理

比较配置外置到版本仓库、启动配置与业务配置的分离、按应用与环境匹配资源、敏感配置加密、配置服务高可用与消息总线动态刷新的做法与取舍。

99 张卡片 · 29 本书

主题索引

路由、订阅与寻址

比较交换器与绑定、主题与标签过滤、订阅与广播扇出,以及 vhost、联邦与协议网关等多租户和跨集群寻址方式。

97 张卡片 · 38 本书

主题索引

异步 RPC 与受理语义

异步 RPC 的收发分离、请求标识关联响应、受理与业务完成的区别,业务线程与 IO 线程的边界,异步是否真的省掉等待,以及上下文在异步边界上的传递与丢失。

95 张卡片 · 28 本书

主题索引

分布边界与远程接口

何时才需要分布、远程接口为何要粗粒度,以及远程外观、数据传输对象与序列化格式的设计。

93 张卡片 · 29 本书

主题索引

事务日志与崩溃恢复

比较 Commit Logging、WAL、Shadow Paging 等保证原子性与持久性的日志与恢复机制。

88 张卡片 · 27 本书

主题索引

日志、崩溃与恢复

预写日志与 redo/undo 的分工,检查点与日志截断,崩溃恢复的重做与回滚阶段,以及不同存储引擎在提交、刷盘与恢复时间上的取舍。

88 张卡片 · 27 本书

主题索引

会话状态管理

有状态与无状态会话的取舍,以及会话状态存放在客户端、服务器或数据库的代价与清理。

81 张卡片 · 37 本书

主题索引

业务事务与离线并发

业务事务比系统事务长得多,中间隔着用户思考时间:乐观离线锁与悲观离线锁怎么选、粗粒度锁与隐含锁的代价、版本号与条件更新怎样防止覆盖、预留与冻结怎样替代事后校验,以及离线并发为什么能免则免。

79 张卡片 · 28 本书

主题索引

RPC框架调用链与机制

比较远程方法调用中代理、消息定界、编解码与传输分层,以及泛化调用如何复用框架链路。

70 张卡片 · 15 本书

主题索引

RPC重试与期限管理

比较远程调用在不同失败语义下的重试条件、幂等边界、总期限与目标节点选择。

61 张卡片 · 25 本书

主题索引

依赖注入与模块连接

组件依赖由谁提供:硬编码依赖、依赖注入、服务定位器与 DI 容器的解耦程度、可测试性与可读性取舍,以及异步初始化依赖和插件获取宿主服务的方式。

60 张卡片 · 19 本书

主题索引

告警与 SLO

告警规则与路由、SLO 与错误预算、告警疲劳,以及怎样让告警对应可行动的响应。

51 张卡片 · 22 本书

主题索引

消费进度与位移:消费到哪了

消费到哪:位移为什么要持久化、提交的是下一位、同步与异步提交的取舍、重置与回溯、位移保留与清理、滞后量怎么算。

48 张卡片 · 11 本书

主题索引

完整性约束与更新语义

比较键、约束规则与基表/视图更新语义在保证数据正确性上的作用。

45 张卡片 · 6 本书

主题索引

多租户隔离与定制

比较多租户系统在数据隔离(共享表、分表、分库)、元数据定制与成熟度演进上的取舍。

41 张卡片 · 13 本书

主题索引

故障时的安全默认状态

比较组件失效时选择开放、关闭或停滞的依据与被利用风险。

30 张卡片 · 17 本书

主题索引

定时任务与时钟轮调度

比较扫描、时间槽与分层时钟轮的调度成本,及截止时间校验和周期任务重排的边界。

16 张卡片 · 12 本书

主题索引

架构恢复与模式识别

比较从源代码等低层信息恢复实际架构、识别所用架构模式的技术路线及其精度与自动化局限。

16 张卡片 · 7 本书