此笔记位置已失效,请从目录继续阅读。
全书导读
本书把大型在线业务系统的架构看作综合决策能力:计算机基础帮助理解工具能保证什么,技术架构处理规模与故障,业务建模控制变化,团队能力负责落实。读者既可依章节学习,也可沿“需求—模型—约束—实现—验证”回查方案。以下区分原书解释、历史案例和读者核验后的纠偏。
全书主线
系统的显性问题是吞吐、宕机和一致性,隐性问题是难以维护、扩展和复用。只选工具不能同时解决两者。前半部从I/O、网络、数据库建立机制基础,再把分片、异步、冗余、事务和共识放到业务约束中权衡;后半部解释边界、抽象、模型及组织怎样使这些决策能够持续演化。
前言
前言把规模压力称为显性问题,把维护、复用和快速响应业务变化称为隐性问题。全书希望两者并重,因此安排计算机基础、技术架构、业务架构与管理,而不是只提供大型网站组件清单。
第1部分 什么是架构
本部分把架构解释为针对重要问题的重要决策。不同发展阶段面临的问题不同,架构工作也随之改变。职业头衔与技术分类只是入口,重点是形成能分析问题的能力。
第1章 五花八门的架构师职业
架构首先是一组针对重要问题的决策,而不是头衔或组件图。本章把软件能力从基础设施、中间件与数据平台、业务系统三个层面组织起来。上层依赖下层的能力,但组织分工不必与层次一一对应。全书聚焦大型在线业务系统,既要理解它依赖的计算机基础,也要解释业务变化。
架构能力按层分工
基础架构提供操作系统、网络、存储等能力;中间件与数据平台在其上提供通用能力;业务系统面向具体需求。团队未必一层对应一个部门,中小团队也可能直接借助外部基础设施。区分层次有助于识别能力来源、职责边界与应深入掌握的底层原理。
原书依据 · 1 处
第2章 架构的道与术
“术”是语言、框架和工具的具体使用,“道”是识别问题、解释取舍的方法。两者通过实践—归纳—再实践互相修正。只看一个网站组件图,还无法知道服务为什么这样拆、缓存为什么这样更新;这些真正影响结果的选择,才是后续章节要揭示的架构决策。
道与术的本质区分
术指具体可操作的技能,道指抽象方法论——为什么这样设计、如何系统分析和解决一类问题。术效果立现,道需长期修炼直到顿悟拐点才显现价值。这是多数人重术轻道的根因:道难以短期量化验证。发散:技术分享多讲”怎么用工具”,少讲”为什么这样设计”,因为后者反馈周期太长。
原书依据 · 1 处
道术是问题与答案的关系
除了道与术的本质区分的比喻,还可从”问题与答案”理解道术:术偏重答案,是锤子;道偏重问题,是钉子。实践有两种顺序——拿锤子找钉子,或遇钉子再找/造锤子。健康路径是知行合一、螺旋上升:实践积累理论,理论指导新实践。发散:警惕”拿锤子找钉子”的路径依赖,让技术选型脱离真实问题。
原书依据 · 1 处
第2部分 计算机功底
本部分说明计算机功底为什么与上层业务有关:要区分底层已经提供的保证与应用仍须承担的责任,并借鉴基础系统的设计思路。语言、操作系统、网络、数据库和中间件构成后续技术决策的依据。
第3章 语言
语言学习的目标不是收集尽可能多的语法,而是理解一种实现怎样处理类型、对象、内存、I/O与并发。深入一门语言后,共同问题能帮助迁移,差异则需要回到运行机制。这里给学习路线,下一章开始解释跨语言共享的资源和通信问题。
精通语言要追实现
精通语言不仅是熟悉语法与库,还包括理解其运行、内存、并发及编译机制。跨语言学习可从类型、控制流、数据结构和I/O等共同问题迁移,再核对各自实现差异。共同概念降低迁移成本,不代表各语言具有完全相同的语义。
原书依据 · 1 处
第4章 操作系统
应用读写数据时,会穿过用户缓冲、操作系统页缓存和设备。区分这些层次,才能理解为什么一次写返回未必已经持久化,也才能比较内存映射与减少拷贝的意义。网络侧又把等待就绪与实际读写分开,Reactor、Proactor和1+N+M模型分别描述通知阶段与职责分工。
线程、进程和协程提供不同的资源共享和调度方式。共享状态越多,协调越复杂;单写者和消息传递可降低某些争用,CAS和内存顺序又支撑更细粒度协调。原书把普通read/write称为“直接I/O”,此处只沿用其教学比较对象,不能等同Linux O_DIRECT。关于异步、屏障和单写者的过度概括,以下讲解已明确边界。
I/O减少中间搬运
文件发送到网络时,可通过减少用户态与内核态之间的搬运降低开销。原书模型比较read/write、内存映射和零拷贝:CPU内存拷贝依次为2、1、0次,仍存在设备与内存之间的数据传输。“零”并非完全没有传输。原书把普通read/write称为“直接I/O”,此处仅指绕过stdio用户缓冲,不能等同绕过页缓存的O_DIRECT。
原书依据 · 1 处
阻塞与异步须分层
阻塞描述一次调用是否等待;同步或异步描述应用如何发起和收取I/O结果。就绪通知不等于读写已经完成:epoll通知后,应用仍需调用read/write。epoll_wait可以等待事件,socket读写又可配置为非阻塞,不能把整套程序一概称为“阻塞I/O”。讨论接口异步时,还应区分框架代执行与内核原生完成通知。
原书依据 · 1 处
就绪通知与完成通知
Reactor先通知I/O已经就绪,再由应用执行读写;Proactor把操作提交给系统或框架,完成后接收通知。两者区别是通知所表示的阶段。框架能在就绪接口上封装完成回调,因此框架API的异步语义并不证明内核使用原生异步I/O。
原书依据 · 1 处
LT与ET的处理边界
水平触发在就绪条件持续时反复通知;边缘触发主要通知状态变化。使用ET时,不能只处理部分数据就重新等待,否则缓冲区还有数据却可能没有新事件。非阻塞读写通常持续到EAGAIN;LT也应按需注册写事件,避免一直可写导致空转。触发方式不能单独保证性能或正确性。
原书依据 · 1 处
通过通信实现同步而非共享内存
并发编程设计原则:”不要通过共享内存实现通信,而应通过通信实现共享内存”,即用消息传递代替共享内存加锁。多进程模型(如Nginx Master+Worker)天然符合:进程间靠管道/Socket通信,避免加锁开销,还带来故障隔离。多线程模型则习惯共享内存加锁。发散:此原则可迁移到分布式系统与团队协作——靠共享状态协调的系统比靠消息通信的更脆弱。
原书依据 · 1 处
单写者简化并发协调
原书以单生产者、单消费者环形队列解释避免互斥锁的思路:分别维护读写位置,并保证数据操作与位置发布的可见性和顺序。内存屏障约束重排序,不能笼统理解成强制把缓存全部刷回主存。单写者是这种设计的约束,不能推广成所有无锁算法的必要条件;原书随后给出的CAS正用于多写者协调。
原书依据 · 1 处
刷新缓冲不等于落盘
stdio的用户缓冲与操作系统页缓存是不同层次。fflush主要把前者送到后者,fsync用于请求把文件修改同步到持久存储。一次写调用返回不等于数据已抵御断电。讨论持久性时必须指出确认发生在哪一层,并考虑底层实际保证。
原书依据 · 1 处
多路复用分离等待与读写
I/O多路复用让一个事件循环等待多个描述符的就绪情况。epoll先注册关注事件,再等待就绪,最后由应用执行实际读写。写就绪表示发送缓冲可接收数据,不表示业务上已有数据要发;只在有待发送数据时关注写事件,可减少空转。
原书依据 · 1 处
监听I/O与业务分工
1+N+M模型把接收新连接、处理网络I/O、执行业务拆成不同职责。监听者分发连接,I/O线程维护读写,工作线程消费请求并产生响应。具体框架可能把实际读写放到工作线程,所以这是一种职责组织思路,线程数量与移交方式须按实现确认。
原书依据 · 1 处
CAS把检查更新原子化
CAS比较目标值与预期值,仅在相等时更新,并把比较与写入作为原子操作。多个写者可据此竞争更新资格;失败者重新读状态再决定是否重试。它提供的是一个原子步骤,而非自动证明整个数据结构无锁、无饥饿或业务操作正确。
原书依据 · 1 处
第5章 网络
网络协议的演进围绕几个具体成本展开:反复建连、无法识别消息边界、响应排队、重复头部,以及不可信通信对端。长连接减少建连,长度和分块解决消息边界,HTTP/2分流分帧让多个响应交错发送,证书与密钥建立解决身份和机密性。这些是不同问题的机制,不能串成一个“越新就全部解决”的结论。
TCP在不可靠网络上构造有序字节流,却不能替业务确认数据库已经提交;连接和业务状态要分层。原书的TLS四次握手、QUIC纠错比例、浏览器普及程度均带出版背景,不作为当前标准或部署现状。历史QUIC案例保留为冗余换延迟的思想,规范另见RFC 9000。
超时不等于执行失败
在不可靠信道上,确认消息也可能丢失,因此有限次确认不能让双方获得无限递归的共同确认。写请求超时时,客户端通常无法仅凭该超时判断服务端是否执行成功,需要查询或以稳定请求标识安全重试。这里的不确定性不代表结果永远无法查明,也不能单独用来证明TCP为什么恰好三次握手。
原书依据 · 1 处
三次握手确认收发
原书用收发能力确认解释TCP三次握手:客户端发起,服务端回应,客户端再确认。理解重点是双方交换连接状态与初始序号,不能把这个教学说明推广成所有通信协议必须用奇数次交互。握手成功也不保证之后的业务请求永不超时。
原书依据 · 1 处
TIME_WAIT的必要性
主动关闭的一方通常在TIME_WAIT保留一段时间,以便再次确认对端重传的FIN,并降低旧连接报文干扰四元组重用的风险。原书采用2×MSL模型,具体持续时间依实现而异,不应固定写成所有平台约240秒。连接复用能减少频繁建连关闭的成本,主动关闭责任仍应结合协议与资源设计。
原书依据 · 1 处
证书链解决信任根
非对称加密无法解决公钥传输的可信问题——中间人可在传输途中替换公钥(中间人攻击)。解法不是加密公钥本身,而是引入第三方CA为公钥背书:CA用私钥为服务器公钥签发证书,验证时用CA公钥核验。但如何信任CA公钥?答案是让上级CA签发,层层回溯直到系统内置的Root CA,最终无条件信任它。发散:本质是把身份验证问题转化为收敛到一个大家愿意信任的根。
原书依据 · 1 处
历史QUIC的纠错思路
原书介绍早期QUIC的前向纠错设想:为一组数据增加冗余,使有限丢失可由剩余数据恢复,减少重传等待;超过恢复能力仍需重传。这是以带宽换延迟的历史案例,不能据此声称IETF QUIC普遍采用RAID5或每十包一个冗余包。当前标准应另查RFC 9000及配套恢复协议。
原书依据 · 1 处
长连接需要消息边界
复用TCP连接减少反复建连成本,但连接保持打开后,接收方不能再单靠连接关闭识别一条响应结束。Content-Length给出消息体长度,HTTP/1.1分块传输则用分块长度与结束块描述边界。连接生命周期和消息生命周期因此要分开管理。
原书依据 · 1 处
流水请求仍可能队头阻塞
HTTP/1.1流水请求允许前一请求尚未收到响应时发送下一请求,但响应仍受顺序约束。排在前面的慢响应会阻止后续响应及时交付。并发发送不等于能独立完成;设计应区分计算已完成与协议允许交付两个时刻。
原书依据 · 1 处
分帧按流组织响应
HTTP/2把消息编码为帧,以流标识归属,同一连接上的多个流可交错传输。这样慢业务响应不必让其他流等待HTTP/1.1式响应排序;但底层TCP仍按字节顺序交付,丢包时仍可能阻塞多个流。应用层并发与传输层约束要分别理解。
原书依据 · 1 处
密钥交换需要身份可信
公开一个公钥不证明它属于目标服务,中间人可以替换公钥。数字证书把身份与公钥绑定,并由受信任签发链支持验证。对称加密适合后续数据传输,非对称机制用于认证与密钥建立;原书的简化握手不应直接当作所有TLS版本的完整协议。
原书依据 · 1 处
可靠字节流仍有业务超时
TCP以序号、确认和重传在不可靠网络上提供有序字节流。这个保证发生在传输层,不代表服务端业务已经提交,也不代表连接失败时客户端知道最后一次业务结果。将网络可靠性当作业务恰好执行一次,会忽视重试与幂等要求。
原书依据 · 1 处
半关闭与完整关闭有别
TCP的两个发送方向可以分别结束。一端声明不再发送,不等于另一端已发完数据,因此关闭确认与反向关闭要区分。原书以四次挥手解释这种半关闭状态;实际报文可能合并,应关注两方向状态,而不机械数包。
原书依据 · 1 处
连接标识可支持迁移
原书用QUIC连接ID说明逻辑连接不必永久绑定一组IP与端口。移动网络切换时,若协议能验证新路径并维持连接状态,可减少重新建立会话的成本。这里介绍的是连接身份与网络地址解耦的思想,具体ID长度和迁移限制随协议版本核对。
原书依据 · 1 处
长轮询与流式响应
长轮询在没有新消息时暂缓响应,结束后客户端再发下一次请求;流式响应则维持同一响应,持续发送内容。两者都能减少频繁短轮询,但需要不同的超时、缓冲和连接资源管理。它们解决应用交互方式,不表示突破了底层网络故障约束。
原书依据 · 1 处
压缩重复头部信息
大量请求可能带有相似或重复头字段。HTTP/2使用HPACK压缩头部,降低重复元数据传输成本;它与数据流分帧是不同优化。压缩不能单独解决TCP丢包导致的有序交付等待,性能分析应分开看字节量、往返次数与依赖关系。
原书依据 · 1 处
范围请求支持续传
断点下载记录已取得的范围,重连后通过Range请求剩余字节,避免重新传输完整文件。它依赖服务端支持范围响应及同一资源版本的有效性。原书强调这不自动提供断点上传;上传还须另行设计分块、身份及完成合并协议。
原书依据 · 1 处
第6章 数据库
数据库把查询组织、事务并发和崩溃恢复放进同一系统。范式减少冗余,反范式与分片改变查询路径和更新成本;B+树用有序页支撑定位与范围遍历,但每一层能放多少记录依赖实际页与记录大小。原书三层容量算例有不自洽的数值,不能用作部署容量保证。
事务的原子性要求失败后不留下半套业务效果,持久性要求确认后的提交满足约定的故障保证;隔离性处理并发操作可见的行为,业务一致性还依赖约束和应用逻辑。WAL先保存恢复依据,数据页可以稍后写回;Undo保留撤销和历史版本所需信息,MVCC与锁分别处理不同冲突。ARIES是分析、重做、撤销的恢复框架,不意味着所有数据库都以相同结构实现。
最后,Binlog与Redo面向不同职责,内部协调防止两套恢复依据矛盾;主从复制再把问题扩到多机。原书Redo刷盘默认值写0并不准确,MySQL 8.0官方说明默认1,取值2为每次提交写日志、周期刷盘。原书AUTO-INC解释也不能理解为一个事务中的多个独立插入永远连续。
范式与反范式的取舍标准
数据库范式(消除冗余、保证一致)是教科书默认要求,但互联网应用中字段冗余、存JSON、宽表等反范式设计比比皆是。取舍标准不是要不要遵守范式,而是系统性质:重业务、高并发要求不高的系统应尽量守第三范式;高并发场景下适度反范式换查询性能是合理妥协。发散:本质是”正确性优先”还是”性能优先”的具体实例。
原书依据 · 1 处
分库分表的三大驱动因素
分库分表是三种考虑叠加:一是业务拆分,便于团队分工和独立扩展;二是应对高并发,读多写少先靠加从库加缓存,写入QPS触及瓶颈才需分库分表;三是数据隔离,核心与非核心业务分开避免互相拖累。分库后会连带产生分布式ID、跨维度查询、Join失效等新问题。发散:拆分粒度应服务于最主要的那个原因,而非一刀切。
原书依据 · 1 处
B+树容量依赖假设
原书用高扇出解释B+树为什么通常很矮:若内部页可容1000个分支,叶页可容200条记录,三层模型约能表示2亿条记录。但16KiB叶页放200条100字节记录已超页容量,书中数量假设不自洽。若只按100万叶页估算则约15.3GiB;记录大小、页填充率及索引开销改变实际容量,不能当作容量保证。
原书依据 · 1 处
offset分页的真实代价
limit offset,10看似只取10条,实际数据库要先遍历offset条记录才能定位起点,完全没用上索引定位能力。合理做法是把offset换算成上一页最后一条记录的max_id,用where id>max_id limit 10代替,直接跳过前面所有记录。发散:”数多少个位置”与”记住上次停在哪”性能可差数量级,这是游标分页优于页码分页的根本原因。
原书依据 · 1 处
乐观锁CAS的原子三件套
乐观更新把版本条件检查、数据更新、版本推进放在一次原子更新中,避免读出旧值后覆盖别人修改。更新未命中时必须重新读取并重新计算,重试应有界。该原子更新本身保护特定行,不意味着跨表操作必然要用分布式锁:同库多表仍可使用本地事务和适当锁。
原书依据 · 1 处
WAL的本质
一个事务修改的多条记录分散在磁盘不同位置,若每次提交直接写磁盘要触发多次随机I/O。Write-Ahead思路:先在内存完成修改,把变更顺序追加写入日志(顺序I/O代价低),再由后台线程异步刷盘。”Ahead”指日志写入相对真实数据落盘在前面。宕机后可靠重放日志找回数据。发散:Redo Log、LSM树WAL、复制状态机日志本质都是先追加写日志再异步整理状态,核心是用顺序写替换随机写。
原书依据 · 1 处
物理逻辑日志折中
数据库日志有逻辑记法(记原始SQL或行改前改后值)和物理记法(记某Page哪个字节区间被改成什么)。纯逻辑日志难以判断崩溃恢复时哪些Page已写成功;纯物理日志太大(一条逻辑修改对应多条物理日志)。InnoDB的Redo Log采用折中方案:先以Page为单位组织日志,Page内部再用逻辑记法记”哪一行被改了”。发散:两极端各有硬伤时,答案往往是分层——外层一种粒度、内层嵌套另一种粒度。
原书依据 · 1 处
ARIES崩溃恢复三阶段
ARIES先分析检查点以来的日志,确定恢复所需页与未完成事务;再按日志重做历史,包括未提交事务产生的修改;最后撤销未完成事务,并用补偿日志记录撤销进度。补偿日志使再次崩溃后的恢复可继续。撤销并非把原业务事务提交成功,原书“新增Commit”只是对正向追加恢复记录的简化类比,也不应直接等同所有数据库实现。
原书依据 · 1 处
pageLSN保证幂等
恢复时,日志记录的LSN与数据页记录的pageLSN比较,可判断该修改是否已经体现于页面。已生效的记录跳过,需要的修改才重做,从而避免把相同物理修改重复应用。这里依赖日志与页面版本的严格协议;不能推广成任何业务只加一个递增编号就自动幂等。
原书依据 · 1 处
刷盘策略决定日志机制的必要性
数据库对”未提交能否写盘”(Steal)和”已提交是否立即写盘”(Force)的选择决定所需日志机制。Force+No Steal不需日志但性能差;No Force+No Steal只需Redo Log;Force+Steal只需Undo Log;现代数据库用No Force+Steal最优灵活,但须同时具备Redo和Undo Log,是ARIES复杂的根源。
原书依据 · 1 处
Undo保留历史版本
Undo保存撤销修改、重建旧版本所需的信息;更新记录可沿回滚指针形成版本链,为MVCC提供历史。快照读依据Read View及事务可见性规则选取版本,不是所有隔离级别都固定读取事务开始时的版本。历史版本在不再需要后才可清理。Undo既服务事务回滚,也服务一致性读取。
原书依据 · 1 处
内部XA保双日志一致
事务提交要同时写Redo Log(InnoDB层)和Binlog(MySQL层,用于主从复制),如何保证两者同时成功或失败?MySQL用两阶段提交:阶段一InnoDB写好Redo/Undo Log进入Prepare状态,Binlog写入内存等待刷盘;阶段二收到Commit指令先刷盘Binlog,再让InnoDB真正Commit。恢复时以Binlog是否写入成功为唯一真相源判断补Commit或回滚。
原书依据 · 1 处
分片查询要设计路由
按用户ID分片可高效定位该用户订单,却不自动支持商户ID等其他维度。可增加映射表、维护另一份读模型,或把路由信息编码进业务ID。冗余结构改善查询,同时引入双写、异步延迟和对账要求,不能只计算一次查询收益。
原书依据 · 1 处
跨库关联转移计算位置
跨库后,关联查询可改为应用分别读取再组合,或预先维护宽表、搜索文档。前者把计算放在读取时,后者把计算移到写入或异步更新时。排序分页尤其要看是否能在聚合之前正确截断数据;预计算还须处理来源变化及延迟。
原书依据 · 1 处
二级索引可能需要回表
InnoDB二级索引叶页包含主键值。若所需字段不在二级索引中,查询先找到主键,再访问聚簇索引取得完整记录,这就是回表。一个二级键可对应多条记录,索引宽度与选择性也会影响成本,不能把一次命中等同一次固定I/O。
原书依据 · 1 处
部分页损坏需要完整副本
数据页写到一半发生崩溃,页面可能混合新旧内容。校验和只能发现损坏,增量Redo又可能依赖完整页面。Doublewrite先保留一份完整页,再写最终位置,使恢复能先取得完整基础页。它解决页写完整性,与事务提交是否持久是不同问题。
原书依据 · 1 处
检查点缩小恢复范围
ARIES的模糊检查点记录活跃事务与脏页等恢复元数据,不必暂停所有工作并一次刷完全部页。恢复再从这些线索出发扫描后续日志。它把运行时并发与恢复成本折中起来;检查点不是保证某一瞬间所有业务数据都已落盘的万能快照。
原书依据 · 1 处
当前读仍需要锁协调
MVCC通过历史版本减少快照读取与写入的互相等待,但写写冲突、当前读仍须协调。锁还要按粒度和模式区分:行或范围是锁什么,共享或排他是怎样互斥。意向锁让表级请求识别已有行级锁需求,减少逐行检查。
原书依据 · 1 处
Binlog服务复制
Redo主要服务存储引擎恢复,Binlog在服务器层记录可用于复制与增量订阅的变化。复制通常先运输日志,再在副本应用;应用阶段可以依据事务依赖并行化。复制通道存在不代表副本已追上,更不代表切换后所有已确认写入必然保留。
原书依据 · 1 处
日志块与LSN各司其职
LSN描述日志流中的逻辑位置,物理日志则按块和文件组织。日志记录长度不一,同一业务事务也可产生多段交错日志,因此不能把事务ID、LSN、物理块号混为一谈。循环使用日志空间时,还必须确认对应修改已不再依赖被覆盖的恢复记录。
原书依据 · 1 处
补偿日志保存撤销进度
撤销事务本身也可能再次崩溃。ARIES通过补偿日志记录已完成的撤销和下一步位置,使恢复知道哪些工作无需重复,并能沿未完成部分继续。它避免无限“回滚的回滚”,不代表把原业务失败操作当作成功提交。
原书依据 · 1 处
意向锁连接表行粒度
表级锁请求需要知道表内是否已有冲突的行锁。事务在取得行共享或排他锁之前先声明相应表级意向,表级请求就可检查这个摘要,而不逐行扫描。意向锁不是直接保护某条记录的数据锁,它服务不同粒度之间的冲突判定。
原书依据 · 1 处
范围锁约束并发插入
记录锁保护现存索引记录;间隙锁约束区间内的插入;Next-Key把记录与前方间隙一起覆盖。插入意向又描述插入位置的需求。实际加锁取决于语句、索引和隔离级别,不能仅凭“使用唯一索引”便断言任何查询都不锁间隙。
原书依据 · 1 处
主从并行回放看依赖
复制日志的顺序不代表副本上所有工作只能串行执行。互不冲突的事务可并行回放,但须识别读写依赖与提交约束。原书分别从数据范围和提交分组讨论并行依据;具体MySQL版本的分组元数据及调度算法仍需核验。
原书依据 · 1 处
读改写余额丢失更新
初始余额30,两个并发事务分别加50和减50,串行结果仍为30。若都先读取30再分别写回计算值,后写者可能覆盖先写者,最终变为80或-20。根因是两步读改写之间存在并发窗口,并非单条写入不原子。
关联:先锁定再读改余额。
原书依据 · 1 处
先锁定再读改余额
在同一本地事务中先锁定要修改的余额记录,再读取、计算和更新,避免其他修改者同时基于旧余额覆盖结果。锁范围和持有时间须尽量小;并发下降及死锁风险是代价。对可直接累加的操作也可使用数据库原子更新,复杂计算可考虑版本校验。
关联:读改写余额丢失更新。
原书依据 · 1 处
第7章 框架、软件与中间件
框架和中间件把通用能力交给业务复用,但采用它们仍需理解能力边界。单个库之外,部署、监控、数据库和通信设施能否衔接,也决定维护成本。学习顺序从使用走向请求链与原理,最终能说清不能满足什么,而非只复述功能列表。
生态衔接也是选型成本
技术选型除单个库的功能,还要看部署、监控、消息、数据库与业务系统能否衔接。成熟生态减少重复建设,自己实现则可能加深原理理解但增加长期维护负担。造轮子前先了解已有体系,并明确成熟方案无法满足的具体需求。
原书依据 · 1 处
学习框架要寻找边界
学习框架可从文档与使用入手,再沿请求链理解设计和实现;熟悉后尤其要检查不支持的能力、复杂配置及接口成本。框架边界帮助判断适用场景,也能指出替代方案的价值。功能更多不必然意味着使用更简单或更适合当前任务。
原书依据 · 1 处
第3部分 技术架构之道
本部分将高并发、高可用、稳定性和一致性作为重要技术问题。对每种策略既问它缓解什么压力,也问它引入什么新状态和故障条件。
第8章 高并发问题
高并发方案要先区分读压力与写压力。读侧常用缓存、预计算、并发独立请求;写侧常用分片、流水线、异步和批量。它们分别改变数据结构、任务组织、等待时机和操作粒度,常能组合,却各自引入新的状态与恢复要求。
Feeds流展示了这种取舍:提前推入收件箱让读轻,但大量粉丝使写扇出昂贵,于是结合推与拉;CQRS再把读写职责明确分开。所有定性方案最终要回到容量测量,吞吐必须连同延迟、并发和共享依赖一起看。原书的具体QPS、线程数和百分位改进属于案例条件,不是本轮实测结果。
读写模型分别设计
缓存、物化结果、收件箱等方法,把写入维护与读取查询的需求分别处理,可能通过日志或消息维持读模型。读模型延迟必须满足业务约定;“用户暂时没感知”并不证明一致性正确。CQRS强调命令与查询职责分离,不要求所有缓存部署都被理解为完整CQRS实现。
原书依据 · 1 处
冗余请求应对长尾延迟
请求需100台服务器联合处理,即使每台仅1%延迟概率,用户感知延迟概率高达63%——机器越多长尾延迟被放大越厉害。应对策略是”冗余请求”:客户端先请求一台,未在约定时间内响应就立即请求另一台,谁先返回用谁。实测增加约2%请求量就能把99.9分位响应时间从1800ms降到74ms。发散:分布式延迟由最慢环节的出现概率决定,而非平均表现。
原书依据 · 1 处
Feeds流推拉结合
Feeds流朴素方案”写扩散”(推):发博即写入所有粉丝收件箱,读快但大V发博要写几千万份收件箱。”读扩散”(拉)又让高频读者承受巨大实时计算量。真实解法是分段:粉丝少的用户走推,大V只推给在线粉丝,其余由读者”拉”,两部分结果合并排序。发散:数据呈幂律分布时,按节点规模分段采用不同策略、读端合并,是应对极端分布的通用解法。
原书依据 · 1 处
数据分片与任务分片
数据分片是把数据切成多份并行处理(分库分表、Kafka partition);任务分片是把处理流程拆成多道工序并行执行(CPU流水线、生产流水线)。两者常叠加——Map/Reduce先做数据分片再做任务分片。任务分片代价:拆得越细并发度越高,但工序间上下文切换开销也越大,总处理时间反而可能变长。发散:瓶颈是”能否拆成互不依赖的几份”还是”内部有无先后阶段”,答案指向不同架构改动。
原书依据 · 1 处
异步化的本质是不阻塞主流程
“异步”在不同层次含义不同(AIO、NIO、callback/future、落盘+后台任务),但业务视角核心动作只有一个:客户端发请求不等完整结果,服务器先做最小必要确认(通常是落盘),耗时处理挪到后台。短信验证码场景把请求丢进消息队列立即返回;电商下单后拆单风控不阻塞支付主流程。发散:判断能否异步化,标准是”这一步结果用户是否必须当次交互立刻看到”。
原书依据 · 1 处
LSM树替代随机写
LSM把更新先写入内存有序结构与WAL,再将数据成批刷新、合并为有序磁盘文件,减少逐次随机写。代价包括合并开销和读多个层次。业务若借鉴“内存更新加日志”,还须保证更新与日志的一致性及恢复协议,不能把Redis扣减与另写日志两次调用自动视为原子动作。
原书依据 · 1 处
并发下吞吐与延迟
单线程串行系统中吞吐量与响应时间严格反比。引入并发后这个反比关系失效——理发店从一人包办改三人流水线分工后,同时服务顾客变多(吞吐量提升),但单顾客等待切换时间反而变长(响应时间也增长)。系统存在”最佳并发数”和”最大并发数”两阈值,超过后者吞吐量不增反降。发散:容量规划不能只看QPS,必须同时看响应时间,两者要一起权衡。
原书依据 · 1 处
容量预估要用峰值而非均值
容量规划公式:机器数=预估流量/单机压测容量,预估流量须取历史峰值乘余量系数(2~3倍)而非均值——峰值往往是均值数倍,虽持续短暂但系统必须为其常备足够机器,导致大部分时间闲置。云计算弹性伸缩正是要把”为峰值常备资源”的浪费降到最低。发散:需保证体验不崩溃的系统规划基准应是最坏情况而非日常平均,”按均值规划按峰值验收”是最常见的危险错误。
原书依据 · 1 处
读写负载先分开判断
搜索与商品展示主要承受读压力,广告计费主要承受写压力,库存与支付同时承受两者。读侧可通过冗余数据及预计算扩展,写侧要处理分片、串行热点和持久化成本。分类应针对具体操作,不能仅凭整个系统名字决定方案。
原书依据 · 1 处
异步独立调用可并行
若几个远程调用互不依赖,可先并发发起再汇合,理想等待时间由最慢者主导;若后一调用需要前一结果,则不能直接并行。实际还要计入调度开销与失败处理,不能把“改异步”当作无条件把总延迟变为最大单次延迟。
原书依据 · 1 处
批量降低固定操作开销
批量处理把多次小操作的固定成本摊薄。原书广告计费案例先按账户归组,再累加金额执行扣费;Kafka则缓冲后成批发送。批量规模越大不一定越好,还会增加等待时间与失败重试范围,并须保持每个原始事件可核对。
原书依据 · 1 处
串行处理可减少争用
把状态限制在一个执行者内顺序修改,可减少共享状态加锁;配合非阻塞I/O和多个独立分片,仍可获得整体并行能力。若执行者内出现阻塞或长计算,同一队列会一起受影响,因此适用前提是职责清晰、任务足够短并能拆分热点。
原书依据 · 1 处
压测范围影响容量结论
单机容量不能自动相加为全链路容量,因为请求会调用多个依赖,共享数据库和缓存也有瓶颈。容量评估要固定响应时间目标、业务流量组成和资源条件,再观察峰值。对写请求重放还要隔离测试数据,避免把测量变成真实业务副作用。
原书依据 · 1 处
热键回源会放大负载
缓存未命中或热点集中失效,会把大量并发请求转移给底层存储。缓存容量充足不等于回源路径安全;应明确是否允许回源、更新由谁负责,以及缓存整体失效时数据库能承担多少流量。原书把穿透、过期与缓存宕机分别列为风险。
原书依据 · 1 处
写扩散受粉丝规模约束
为每个读者提前维护收件箱,使读取不再实时关联全部关注对象;代价是一次发布可能写入大量副本。收件箱可只保留近期有限条目,完整发布历史另存。冷热分片和计数索引支持查找历史区段,但并不能消灭大粉丝账户的扇出成本。
原书依据 · 1 处
流水线重叠不同阶段
流水线把接收、持久化、复制等阶段分开,让前一批继续复制时后一批可进入接收阶段。它提高整体吞吐,并不意味着每条请求都已经完成所有确认。Kafka案例还结合批量拉取,所以流水线、异步与批量是可组合而非互斥的手段。
原书依据 · 1 处
第9章 高可用与稳定性
冗余减少单点,却不能自动定义故障时应保留哪些数据。隔离限制传播范围,限流限制负载,熔断避免反复打击异常依赖,降级则把剩余能力转为业务可接受的结果。核心依赖也可以快速失败,但无法凭熔断生成正确业务结果。
发布本身也是故障来源,因此灰度和回滚要与监控同时设计。资源、系统和业务三个层面的观测,分别回答机器怎样、请求怎样、结果怎样;日志还应保留定位异常所需信息。可用性不能压过所有正确性要求,尤其不能默认余额损失总能事后修好。
隔离限流熔断降级
隔离划分资源以控制故障扩散,限流约束进入负载,熔断在依赖持续异常时停止反复调用,降级提供可接受的受限功能。它们经常配合使用。核心依赖同样可以熔断并快速失败,只是无法凭空提供完整业务;能否降级取决于可用替代结果及业务正确性约束。
原书依据 · 1 处
漏桶与令牌桶的本质差异
漏桶保持流出速率恒定,多余直接溢出丢弃,起削峰填谷作用;令牌桶保持流入令牌速率恒定但允许攒起来,突发时可一次性消耗多个令牌。漏桶限制绝对瞬时速率,令牌桶限制一段时间平均速率、允许合理突发。发散:下游对瞬时冲击敏感用漏桶拉平;下游有弹性只关心平均负载用令牌桶更充分利用能力。
原书依据 · 1 处
故障切换须衡量丢失
原书讨论异步或可退化的半同步复制:切换到落后副本可能丢失尚未同步的数据。是否切换,应比较业务允许的数据损失、恢复时间与不可用成本。不能把“少量数据可人工修复”当作默认前提;涉及余额等不可丢失状态,应在复制、选主和恢复策略中先约束正确性。
原书依据 · 1 处
灰度发布的通用套路
灰度发布核心套路:先放小部分流量进新版本,验证无误后逐步扩大比例直到全量切换。必须提前配好两条退路:安装包回滚(重新部署上一版本)和功能开关回滚(新功能自带开关,出问题直接切回旧逻辑无需重新部署)。发散:价值不在分步骤上线本身,而在把不可逆的全量变更转化成随时可叫停、损失可控的小步骤。
原书依据 · 1 处
日志报警要变被动为主动
日志最常见用法是出问题后翻日志定位,这是被动的。更有价值的是主动报警:写代码时就识别可预见的异常场景(脏数据、下游异常结果),提前打日志配监控告警,第一时间主动通知。常见坑:日志等级混乱让ERROR被噪音淹没;关键分支漏打日志或只打”出错了”没打关键参数。发散:打日志前反问”光靠这行能否一次定位到原因”。
原书依据 · 1 处
监控贯通资源与业务
资源监控回答CPU、内存、磁盘等是否接近限制;系统监控关注错误、延迟和调用链;业务监控检查订单、支付、履约等结果。几层指标联合才能区分资源压力、系统故障和业务异常。数据间的不变量还能形成对账,发现单看机器指标看不到的错误。
原书依据 · 1 处
副本增多仍须定义确认
无状态服务增加实例相对直接;有状态系统增加副本,还要定义数据同步、写入确认及故障选主规则。若副本落后,快速切换可能带来数据损失;若等待全部副本,延迟和可用性又会受影响。副本数量不能单独证明高可用和数据安全。
原书依据 · 1 处
信号量限制资源占用
线程池隔离把不同依赖或慢任务放进独立执行资源;信号量则限制同时使用某资源的调用数量,不额外创建工作线程。数量耗尽时应按策略拒绝或降级。后者更轻量,但不会自动中断已经阻塞的调用,仍需超时管理。
原书依据 · 1 处
限速与并发上限有别
并发上限约束此刻占用的资源数量,速率限制约束时间窗口内进入多少请求。响应变慢时,同样的QPS可能占用更多并发资源,所以两种限制不能互相替代。秒杀资格控制还可利用库存等业务约束,提前过滤无必要的后续工作。
原书依据 · 1 处
第10章 事务一致性
跨库或跨服务后,一个本地事务无法覆盖所有写入。解决这类问题要先找出确认与持久状态:2PC协调共同决定,TCC预留业务条件,本地消息与事务消息保存可恢复的发送依据,事务状态表驱动后续恢复,对账则从结果不变量反查缺口。
转账最能说明区别:发送超时不等于消息没到;消费已入账但确认丢失,会触发再次投递。发送方原子保存扣款与待发消息,接收方原子保存判重与入账,才能把反复通信转成业务一次生效。库存还可依据“允许暂时少卖、禁止超卖”的明确约束设计占用和回收。人工处置只是有条件的兜底,不能当作正确性证明。
分布式事务问题的根源
集中式架构下单体数据库靠自身参照完整性和事务机制天然保证一致性。但分库分表、微服务化把数据拆到多个独立数据库和服务,事务机制只能保证单机原子性。凡业务动作需连续调用多个写操作(创建订单+扣库存),就存在部分成功部分失败的可能,一致性必须由业务系统自己兜底。发散:每次”拆分换扩展性”的决策都在把免费的一致性保证转移成额外工作量,需一并核算。
原书依据 · 1 处
2PC的三个致命问题
两阶段提交实践中很少直接用于业务系统一致性,原因有三:一是性能问题——阶段1锁资源后须等所有参与者返回;二是协调者单点风险——阶段1后协调者宕机会导致悬而不决;三是参与者响应不确定——超时未回ACK无法判断是否提交成功。共同根源是超时不等于执行失败。发散:这解释了为何工程实践转向TCC、最终一致性等允许中间状态靠重试幂等收敛的方案。
原书依据 · 1 处
本地消息与消费幂等
跨系统转账时,单把发消息放进数据库事务不能让远端消息一起回滚。发送方把扣款与待发消息记录纳入同一本地事务,再由后台重试投递;接收方则把判重记录与入账纳入同一本地事务。两端都要保留稳定标识。只在处理前查询是否重复而不原子提交,仍可能重复入账。
原书依据 · 1 处
TCC预留业务条件
TCC把业务操作拆为Try预留或检查、Confirm确认、Cancel取消。Try尽量确保后续业务条件,但不能消灭宕机、资源失效和程序错误。Confirm和Cancel须幂等,并由协调机制记录决定、重试恢复;不能把“不断重试必然成功”当作无条件保证。
原书依据 · 1 处
对账是把关注点从过程转移到结果
最终一致性、TCC等方案都在保证过程原子性。”对账”换一个视角:过程执行到一半失败,结果必不完整自洽,与其堵住每个失败缺口,不如定期检查结果数据是否符合预期数学规律(库存流水与订单状态对应关系),发现不符就针对性修补。适合”两份冗余数据本该相等”类场景,比TCC轻量。发散:每步都可能出错、逐一堵漏成本高时,在结果层建不变量定期核对更省力。
原书依据 · 1 处
利用业务特性做弱一致性妥协
电商下单需同时保证创建订单和扣库存一致,但TCC等强保证方案性能开销太大。破局点是利用业务容忍边界:”宁可少卖不能超卖”,库存多扣可事后对账回收,绝不能超卖。可选择先扣库存后创建订单,扣库存成功但订单失败就允许暂时多扣,靠后台扫描不一致状态做补偿。发散:高性能又一致的方案往往是吃透业务对错误方向的不对称容忍度。
原书依据 · 1 处
人工介入低频异常
当自动重试与补偿无法收敛时,可报警转人工核查,避免无限增加自动化故障面。有效介入依赖完整业务流水、可验证的不变量及受控修复办法;日志齐全也不保证任何损失都能挽回。应明确接手时限与处理责任,而非把人工当作所有正确性问题的最终证明。
原书依据 · 1 处
消息确认丢失会重复入账
入账已成功而消费确认未送达时,中间件可能再次交付同一条消息。接收方若把第二次投递当作新业务,就会再次加钱。故障窗口位于“业务已提交”和“消息已确认”之间;单靠消息重投能防止漏处理,却不能阻止重复业务效果。
关联:判重与入账同事务。
原书依据 · 1 处
判重与入账同事务
用稳定消息或业务标识识别同一次入账,并把判重记录与余额变更纳入同一本地事务。崩溃重投后,可以依据已提交记录拒绝再次生效。代价是额外状态与清理策略;判重只在内存或先查后分别写入,无法关闭并发与崩溃窗口。
关联:消息确认丢失会重复入账。
原书依据 · 1 处
发消息回滚可能凭空加钱
转账方把发送消息和本地扣款包装在数据库事务中,但发送超时时,消息可能已被中间件接收。若据此回滚本地扣款,接收方仍按消息加钱,就出现钱只加不扣。根因是本地事务无法撤销已经生效的远程动作。
关联:扣款与待发消息同事务。
原书依据 · 1 处
扣款与待发消息同事务
把扣款和待发送的消息一起写入本地数据库事务,保证两者共同提交。后台持续投递已提交消息并记录进度;允许重发,接收方再用幂等保证不重复入账。这样把跨网络的瞬时原子要求转为可恢复的持久状态,仍须处理积压与异常告警。
关联:发消息回滚可能凭空加钱。
原书依据 · 1 处
事务消息需要回查
事务消息先暂存不可消费的消息,再执行业务本地事务,最后确认或取消。若最后一步结果不明,中间件回查发送方的持久业务状态。回查依据必须可靠,不能只靠进程内变量;这种机制也不代替消费方幂等。
原书依据 · 1 处
事务状态驱动补偿
为跨服务业务保存全局事务标识及进度,使中断后可扫描非终态事务并恢复。参与者以同一标识幂等处理,协调者重试未完成步骤,长期失败转异常处置。同步调用超时可对外表示处理中或结果未知,不能仅凭超时宣称整体已回滚。
原书依据 · 1 处
库存占用流水支持回收
库存扣减若已成功而订单尚未完成,仅靠一条同步返回不足以决定资源去向。为每次占用保存流水,再把占用状态与订单支付、取消状态比对,才能识别超期未完成的占用并回收。重点是保留可恢复的业务状态和关联标识;回收还须避免重复执行及把已履约资源误当作闲置。
原书依据 · 1 处
第11章 多副本一致性
多副本一致性的目标是让节点按兼容的次序保留并应用状态变化。复制日志把复杂状态同步变成一个可比对的序列;确定性执行是从相同序列得到相同结果的前提。原书以旧Kafka按高水位截断的缺陷说明:已有数据与知道数据已确认,是两个不同问题。该案例必须保留版本范围。
Basic Paxos针对一个位置选择值,提案者的承诺、接受记录与多数交集保护已选结果;Multi-Paxos以稳定领导者摊薄重复准备成本。Raft将选举、日志复制和安全规则分解,任期帮助拒绝旧消息,匹配规则与选举限制保护前缀,当前任期提交又约束旧日志何时能认定提交。不能把“在多数派有副本”简化成所有情形下立刻提交。
Zab以epoch和序号组织状态变化日志,并在选举后的恢复阶段对齐副本。命令日志、状态变化日志和快照不是同一表示;单客户端FIFO、全局日志次序、对外线性一致性也不是同一个保证。下面逐项保留这些差别。
历史HW截断丢消息
原书描述旧版Kafka按滞后高水位截断日志时,连续故障可能删除已确认消息的案例,并指出KIP-101引入Leader Epoch改进恢复。该结论绑定旧机制,不能推广成所有版本在acks=all时都会以同样方式丢失。复盘重点是区分日志已复制、节点已知道提交位置以及故障恢复依据。
原书依据 · 1 处
复制状态机为何复制日志而非状态
多机同步应持久化”导致状态变化的事件流(日志)”而非”状态本身”——这是Paxos、Raft的共同基石:一样的初始状态+一样输入序列=一样最终状态。好处有二:日志只有追加一种操作,持久化比对更简单;日志是一维线性序列天然适合多节点比对,而状态可能是复杂结构直接比对成本高。发散:Redo Log、消息队列持久化、区块链账本都选择记录过程而非结果。
原书依据 · 1 处
Paxos绕开全局时钟
多客户端并发写入多机时无全局时钟排序,Paxos找到替代思路:不争论谁先到达,而约定日志各位置的归属权由谁抢到——节点写入某位置前先询问是否已被占用,占了就争夺下一个位置。只要对”哪个提案占哪个位置”达成多数派共识,所有节点日志顺序必然相同。发散:用抽象序号共识替代物理时间戳共识,物理时间无法同步时更容易也更可靠。
原书依据 · 1 处
Multi Paxos变1PC
Basic Paxos确认一条日志至少需两次网络往返(Prepare+Accept)。Multi Paxos优化:选出Leader后先做一次Prepare获得整个日志序列控制权,此后处理新日志可跳过Prepare直接Accept,两阶段缩为一阶段。新Leader发起新Prepare后旧Leader的Accept全部失败自动降级。发散:把每次重新协商的开销转化为协商一次后走轻量路径。
原书依据 · 1 处
term与旧日志提交
Raft任期为节点判断消息新旧提供依据;旧领导者获知更高任期后退回Follower。分区中可能暂时有不同任期的领导者自认有效,安全性依赖多数派及协议规则。新领导者不能仅凭旧任期日志复制到多数派便直接确认它;须在当前任期提交一条日志,再连带提交前缀。
原书依据 · 1 处
单领导者简化排序
Multi-Paxos可让不同日志位置并发达成共识;Raft通过领导者管理连续日志,降低协议理解与实现的复杂性。两者都能建立一致的日志次序,不应说多点提案就没有顺序,或只有单点写入才能有序。单客户端流水请求的先后语义还取决于客户端与服务端接口约定。
原书依据 · 1 处
操作日志与状态变化
复制原始指令要求节点确定性地执行相同操作;复制已算出的状态变化则把部分计算留在主节点。原书用赋值与自增作对比,帮助理解两种表示。状态变化日志仍须按协议顺序和版本应用,不能因此认定任意重放都幂等;它也不是整个数据库的快照。
原书依据 · 1 处
共识提案保留已选值
Paxos提案者先取得多数承诺,并检查这些响应中此前接受的值;若存在已接受提案,沿最高编号的值继续提出,而非任意覆盖。多数派交集与继承规则一起保护已选值。多数票本身并不足以保证共识,承诺和持久状态同样关键。
原书依据 · 1 处
选举与日志匹配协作
Raft把选举资格与日志匹配结合:候选者的日志不能比投票者落后,复制时又比较前一条日志的任期与位置。发生冲突就修正未提交后缀,已提交前缀必须保留。它依靠多个规则共同维持安全,不能用“选最长日志”一句话替代。
原书依据 · 1 处
日志位置与提案编号有别
Basic Paxos针对一个共识实例选择一个值;日志系统再为不同位置运行实例。位置回答值放在哪里,提案编号用于仲裁竞争并保护已有选择,二者不能混为同一个序号。已占用某位置时,可在后续位置提出新命令,而不是修改已选择的值。
原书依据 · 1 处
接受不等于知道已选
Paxos中,多数接受使值被选择,但某个节点未必立即知道选择已完成。传播确认信息与保护已选值是两个问题;节点可以通过后续协议恢复已选值。不能把本地暂未知的记录直接当作可删除或可随意改写的记录。
原书依据 · 1 处
任期位置共同标识日志
原书描述Zab的zxid:高位表示领导者epoch,低位表示该任期中的递增序号。跨任期先比epoch,同任期再比顺序号,帮助识别日志新旧及同步位置。它与Raft的term/index有可比之处,但编号格式相似不证明复制和恢复规则相同。
原书依据 · 1 处
状态机确定性是前提
复制相同命令序列要得到相同结果,还需各节点从相同状态出发,并按确定性规则执行。复制日志提供恢复与比对线索,但不会自动消除外部时间、随机数或外部调用造成的差异。协议确认、状态机应用和向客户端响应也应分清阶段。
原书依据 · 1 处
第12章 CAP理论
CAP先限定故障模型,再讨论分区时线性一致性与可用性不能同时保证。事务业务约束与线性一致性必须区分,QPS与形式化的响应可用性也必须区分。PACELC补充正常通信时协调等待所带来的延迟权衡。
本章一个核心说法需要纠正:“信息传递需时间”不推出“强一致性不存在”。线性一致性允许操作执行一段时间,而要求外部可观察行为符合实时的原子次序。分布式锁则进一步提醒:会话或租约结束不等于持有者已停止工作,旧执行者仍可能继续操作资源。
分区时权衡一致与可用
CAP讨论分区发生时,系统无法同时保证线性一致性与每个非故障节点对请求的响应可用性。这里的一致性不是ACID业务约束,可用性也不是QPS。无分区时仍可能讨论延迟与一致性的工程权衡,但不是把CAP三个字母随意任选两个。
原书依据 · 1 处
强一致性并非零延迟
原书把“内部更新需要时间”推导为“强一致性不存在”,混淆了内部执行与外部行为。线性一致性允许操作持续一段时间,只要求每次操作可看作在调用与返回之间某一时刻原子生效,并尊重实时先后关系。用户很少查询而暂未发现旧值,不会把最终一致性升级成线性一致性。
原书依据 · 1 处
分布式锁难以兼顾
分布式锁是观察CAP权衡的绝佳案例:Zookeeper实现靠Zab保证强一致高可用但QPS撑不住高并发,且心跳误判(网络抖动/Full GC)会导致锁提前释放、脑裂。Redis实现性能好但主从异步复制会在故障切换时丢锁状态,超时释放又会在执行超预期时错误释放。发散:两者失败点都是心跳/超时推测存活的固有缺陷,本质是超时不等于执行失败的具体化,优先考虑规避分布式锁依赖。
原书依据 · 1 处
正常网络也有延迟权衡
PACELC把问题分成两种情况:分区时讨论可用性与一致性;未分区时仍可能为更强的一致性等待远端协调,从而增加延迟。它帮助设计者把正常路径成本也纳入讨论,不意味着延迟非零就无法实现线性一致性。
原书依据 · 1 处
第4部分 业务架构之道
本部分试图把难以言传的业务架构变成可讨论的概念和方法。前半部的技术约束继续存在,新的重点是需求、模型和组织边界。
第13章 业务意识
业务意识首先是追问需求背后要解决谁的什么问题。功能列表只是某个答案,多层转述还可能丢失问题背景。产品可以通过范围、时效或交互约束降低技术难度,但这些是业务选择,不能由技术暗中缩减正确性。
“业务架构”在本书里既可能指商业业务划分,也可能指支撑业务的技术组织方式。团队闭环、产品闭环和商业闭环帮助识别边界;组织沟通又会影响系统依赖。先辨认讨论处在哪一层,下一章的方法才有明确对象。
多次转述可能扭曲需求
需求经多人转述时,可能因记忆、表达、理解及利益选择而失真。技术人员应追溯用户问题及背景,而不只接收功能列表。原书用100、90、85等分数演示信息递减,它们是说明性假设,并非通用实验测得的衰减比例。
原书依据 · 1 处
用产品手段化解技术难题
很多看似需复杂技术方案的问题,换角度用产品设计就能化解:早期搜索引擎想让用户多打字,不做智能算法,只把搜索框拉长;推荐系统不解决无限列表实时排序,只保证前1000条精准;批量加购物车不用分布式事务保证原子性,而是允许部分失败提示重试。发散:判断技术难题是否值得动用复杂方案前,先问背后的产品/业务约束是什么,技术复杂度常源于没意识到有更简单的业务入口。
原书依据 · 1 处
业务的判断标准是闭环
一家公司算几个”业务”没有统一标准,取决于战略盈利模式组织架构。但一件事能否称为独立业务,关键看是否形成闭环:团队闭环(产品技术运营协同)、产品闭环(完整链路自己把控)、商业闭环(自负盈亏能力)。闭环有大小之分——部门小闭环、事业群大闭环、产业生态闭环。发散:判断业务边界模糊问题时,检验是否具备自成一体独立运转的能力,闭环程度是实用标尺。
原书依据 · 1 处
康威定律与业务架构的双重含义
“业务架构”有两层含义:字面意思”业务的架构”(公司层面业务怎么划分,高层战略决策);技术人员该关注的”支撑业务的技术架构”(从技术视角该如何拆分服务团队)。两层相互作用:把三种计费方式看三个业务就拆三套架构,看一种业务三种玩法就用一套架构。这背后是康威定律——组织产生的系统设计等同于组织沟通结构。发散:架构决策僵局要先反问这是否是组织利益伪装成技术分歧。
原书依据 · 1 处
第14章 业务架构思维
边界思维确定系统对外的责任,系统化思维检查这些边界合起来是否还能解释整体。表面分层但底层跟着业务参数持续变化,说明隔离可能没有成立;所有新需求都要多个服务一起改,也提示应回到整体重新划分。
利益相关者提供外部视角,非功能性需求说明要达到什么质量目标,多个视图再分别描述功能、结构、部署、开发和运行。抽象会删掉细节,建模要让重要概念显性化,正交分解则检查同层划分是否重叠或遗漏。这些方法互相补充,不能把一张图或一组术语当作设计已经完成。
伪分层架构的四个识别信号
四个信号识别”伪分层”:底层调用上层(业务逻辑放错位置,应依赖反转);同层大量双向调用(职责不清紧耦合,该抽公共服务协调);参数层层透传到最底层写if-else(入口层未做拦截隔离);聚合层特别多到处拼装(业务层太薄,只按技术切分未按业务闭环划分)。健康分层应越底层越单一固化、严格单向依赖。发散:四信号本质都是层间缺乏隔离抽象,稳定部分被迫跟易变部分变动。
原书依据 · 1 处
边界思维的核心是约束而非能力
边界思维贯穿对象、接口、产品、组织各层面:单一职责原则、优雅接口龌龊实现、产品把复杂留给自己,本质都是对外接口简洁清晰、内部混乱不扩散影响外部。关键不在系统能做什么,而在其约束是什么、不能做什么——这才定义边界。评估系统价值该问它明确拒绝了哪些功能。发散:无所不能的设计等于一无所能,没有约束就没有清晰边界。
原书依据 · 1 处
刨根问底到第一性
与边界思维相对的是系统化思维——遇到问题一路追问根本原因直至事物本质(第一性原理/道)。体现在:两个划清边界的系统若因业务发展导致接口频繁变更、每次新需求都要两边一起改,说明边界划分不合理或逻辑本就耦合,该把两者当整体重新设计而非继续打补丁。发散:边界思维教如何拆,系统化思维教何时不该拆、何时该刨根问底,二者构成辩证关系。
原书依据 · 1 处
利益相关者定边界
分析系统该服务谁的有效方法是把系统当黑盒,从外部列出所有利益相关者——终端用户、合作商家、外部对接系统、内部各职能人员。价值在于:从外部视角划定系统边界;利益相关者是观察业务闭环的自然切入角度;每类代表独特视角避免盲人摸象;不同划分方式对应系统该如何拆分。发散:此方法可缩放使用,大到整公司小到单个模块都适用。
原书依据 · 1 处
以终为始梳理非功能性需求
架构设计的关键思维是”以终为始”:先明确非功能性需求(并发性、可用性、一致性、可维护性等)这个最终目的,再决定用什么技术手段,而非先定技术方案再看能满足什么目标。C端系统更看重高并发高可用,B端系统更看重可维护可扩展可重用。发散:以终为始把技术选型讨论从”炫不炫新不新”拉回”是否服务于真正目标”,达成目的的路径可以灵活多样。
原书依据 · 1 处
抽象是化繁为简但会丢失关键信息
抽象本质是化繁为简——每上升一个抽象层级,具体特征就变少一分,可被多重解读的空间随之变大。抽象带来交流效率但伴生风险:意义模糊变空洞大话;没分解好就直接抽象把不稳定的东西当地基;抽象掉关键特征导致认知偏差;变化可能性小的地方过度抽象是浪费。发散:抽象前先问清丢掉的细节会不会正是理解这件事不可或缺的部分,比追求抽象层次更值得警惕。
原书依据 · 1 处
建模的本质是把重要的东西显性化
面向对象建模、领域建模、UML等方法论本质只有一件事:把系统中重要的东西(核心业务概念/流程/规则)从代码隐性调用关系中提炼出来,给它准确的名字,再用结构把这些构造块串联成体系。几百行代码函数难以理清,根本问题不是需要重构,而是重要逻辑没有被显性化表达。发散:判断要不要建模的标准不是有没有画UML图,而是重要的东西是否有了准确名字,命名本身就是最基本的建模动作。
原书依据 · 1 处
正交分解的分清分净两原则
正交分解源自数学(三维向量由独立基向量组合),本质是把复杂整体拆成若干相互独立又完整覆盖全部情况的部分,需同时满足”分清”(互不重叠)和”分净”(完全穷尽)。电商仓库支撑多业务,站在仓库视角正交分解后其实都归结为”入库”和”出库”两种操作,与KV存储的读写是同一简化思路。发散:一个字段有几十种取值时,往往说明没做好正交分解,可拆成多个少取值字段排列组合还原表达能力。
原书依据 · 1 处
4+1视图五个角度
“4+1视图”用5个角度描述架构:以功能视图(B端用例图/C端交互稿)为核心,其余4个视图围绕它展开——逻辑视图(模块划分/类图状态图)、物理视图(机房机器网络)、开发视图(工程目录包依赖)、运行视图(多进程线程同步);再加数据视图即5+1视图。视图只是引导描述关键问题的框架而非目的,未必每个都要画全。发散:微服务拆分同时横跨逻辑物理开发三视图,说明视图边界不互斥,是同一问题的不同侧面。
原书依据 · 1 处
第15章 技术架构与业务架构的融合
技术与业务融合并非一比一把业务流程翻译成服务调用,而是先建立能表达实体、关系、规则和生命周期的领域模型,再选择技术实现。模型应寻找相对稳定的结构,同时允许新知识推动修订;不能把“不变”理解为永远禁止变化。
子域组织业务问题,限界上下文限定模型语义;它们不必与服务部署一一对应。边界清晰处可以先分工,耦合紧密处应先整体理解再分。业务分层、线性管道、状态协调以及横向公共能力,是不同组织手段,要看变化方式、流程形态与职责闭环选择。
领域模型找不变性
“领域”指业务问题空间,”领域模型”是答案——在不断变化的业务表象背后找到相对稳定的核心结构(核心实体、关系、生命周期状态迁移)。业务需求会一直增加,但模型不该跟着频繁变动,若频繁改说明没找到真正不变性,只是打着领域驱动幌子做流程驱动。发散:检验标准是每次新增业务分支时核心模型要不要跟着大改,经常要改说明模型没抓住本质。
原书依据 · 1 处
业务流程不等于系统流程
业务流程是粗粒度描述,系统流程需要精确技术细节。若省略领域建模直接把业务流程翻译成系统流程会有三个问题:技术细节被随意处理;同份数据在多系统间反复拷贝造成不一致;业务流程演变成网状后系统结构也跟着变网状耦合。发散:领域模型是插在业务流程和系统流程之间的翻译层,只要模型保持稳定,新增分支时构建新系统流程就相对轻松。
原书依据 · 1 处
好领域模型难做的四个原因
好领域模型难做有四个原因:意识问题——业务人员用流程语言沟通,技术人员不知不觉变成流程驱动而非模型驱动;现实复杂性——业务灰度地带远比计算机世界多,技术人员未必具备分析业务本质的能力;迭代速度——业务变化快时团队常打补丁而非重建模型形成恶性循环;火候掌握——哪里固化哪里留扩展性没有标准答案只能试错。发散:四原因覆盖沟通、理解力、工程节奏和设计判断力。
原书依据 · 1 处
微服务拆分的诸侯制与中央集权制
领域驱动拆分微服务有两种思路:”诸侯制”先划子域边界各团队独立建模,落地容易但易失全局视野;”中央集权制”先对全业务完整建模再切分,系统性强但信息量大容易失控。子域界限清晰的领域(用户、订单)适合诸侯制;界限模糊耦合紧密的领域(价格与优惠活动)应先整体建模再拆分。发散:先拆后合还是先合后拆取决于内部耦合程度,而非教条地无脑先拆。
原书依据 · 1 处
读写分离范围之辨
若读写分离只发生在一个子业务内部(某高流量子域自己做缓存加从库),这是纯技术架构问题对外透明。但若范围扩大到公司级别就升级为业务问题——电商”搜索”是纯只读系统,商品发布/价格/库存扣减是独立的写业务,读写对应两个不同子业务各有规则和团队。发散:判断某模式是技术还是业务问题,看其作用范围是封装在单一业务边界内,还是横跨多个独立领域。
原书依据 · 1 处
管道过滤器到状态机
管道-过滤器模式下业务流程线性单向流转,结构清晰、模块无状态、易水平扩展。但业务发展后系统间开始互相调用,线性链条退化成蜘蛛网,管道-过滤器就撑不住了。这时该引入状态机(协调者)模式:各系统重新独立互不感知,由中心状态机维护数据所处阶段并分发。发散:架构模式无绝对优劣,一旦业务打破线性前提就该主动切换到能容纳非线性调度的状态机模式。
原书依据 · 1 处
业务切面与业务闭环
AOP把多类共同需要的横切逻辑抽出统一处理,平移到业务领域就是”业务切面”——把跨业务线的公共能力(SSO、统一权限)抽成独立横向平台。与之相对的”业务闭环”是纵向把一个业务所需完整能力收拢进同一域由同一团队负责到底,即便要纳入原属其他系统的职责,以换取更高内聚性。发散:横纵对照与商业世界”平台型横向扩张、垂直型产业链纵深”模式同构。
原书依据 · 1 处
子域与限界上下文
子域是问题空间的划分——按业务边界把大领域切成小块;限界上下文是答案空间——给每个领域模型划出一个确定含义的边界,就像自然语言里同一个词只有在确定上下文中意思才明确。理想情况一个子域对应一个限界上下文,但实际中可能一对多或多对一。发散:这组区分提醒拆分微服务时不能只按子域画边界,还要检查模型语义是否在该边界内保持单一确定,否则会出现同一个词(如’订单’)在不同服务里含义打架。
原书依据 · 1 处
SPU/SKU隔离动态属性
业务分层架构模式:把商品属性按生产(品牌型号颜色尺码)、销售(价格库存)、运营(促销奢侈品标签等易变属性)、运输(航空禁运品等环节确定的属性)四层组织,而非混作一团。同型号商品共用生产属性衍生出SPU/SKU:一个SPU对应多个SKU,SKU绑定颜色尺码并挂载价格库存。发散:分层依据是属性在业务流程哪个阶段被确定,越晚确定越易变,该分层思路可类比技术分层里UI/网关/服务/存储按变化频率区隔。
原书依据 · 1 处
第5部分 从架构到技术管理
本部分从架构走向技术管理,先讲自我能力,再讲团队交付。管理不是单纯分派任务,而是让专业判断转化为集体能持续完成的结果。
第16章 个人素质的提升
架构能力还包括选择观察范围和执行层次。全局视野把当前任务放回业务与组织中,历史视角解释技术为何出现,深入思考揭示风险,落地能力使方案在现实约束下完成。影响力来自可靠交付与改进,而不是一个头衔。
这里的个人成长主张属于方法论,并不保证努力与升职之间存在确定因果;组织、机会与资源同样影响结果。实践应把主张转为可观察行动,避免把价值判断伪装成普遍定律。
格局是把自己的范围往外扩一圈
“格局”具体化就是:接手一件事前先建立全局把握——定位核心价值是什么、为什么现在做、在组织架构中处于什么位置、不同角色怎么看待它。不同岗位天然在不同层次思考,格局提升不是跳出岗位边界瞎操心,而是主动把习惯思考的范围往外扩一圈。发散:格局价值不在知道得多,而在提前建立对风险的心理预期,影响面对同一变更请求的判断质量。
原书依据 · 1 处
历史观是把技术放进时间维度理解
“格局”是空间维度看问题,”历史观”是时间维度——任何技术都不是凭空出现,必是为解决某问题而生,背后有历史背景:此前方案不够好或有副作用才促使新技术诞生。理解技术不能只看现在怎么用,还要搞清出现之前世界什么样、改进了什么。发散:缺了历史观只看到孤立横截面,容易误判设计适用边界,条件变化后仍生搬硬套过时结论。
原书依据 · 1 处
打工思维与老板思维的分界
打工思维是”分配给我的事干完就好”,只顾自己一亩三分地。老板思维会主动追问产品价值在哪、有什么问题该改进、架构有什么问题。核心区别不是职位高低,而是关注边界是否止步于被分配的任务。发散:塑造职场影响力的关键是关键时刻愿意主动顶上——问题困扰团队很久没人解决时用老板思维迎难而上,这不依赖运气人脉,是任何人都能践行的选择。
原书依据 · 1 处
空杯心态是承认自己的无知
术业有专攻——一个人在自己领域再厉害,换领域也可能什么都不懂。空杯心态核心不是谦虚姿态,而是清醒意识到自己始终”有局限”,只有先承认局限才能真正听进别人意见、持续拓宽视野;反之容易困在舒适区看不见盲区。发散:与道术是问题与答案的关系呼应——越是”术”深厚越易产生”我懂”错觉,空杯心态是对抗这种错觉的解药,是持续学习的前提。
原书依据 · 1 处
持续改进要接受边际收益递减
没有能做到100分的事,永远能找出可改进之处。像考试一样,从不及格到60分容易,95到100分每多1分都难上加难——边际改进成本随基础水平提升急剧增加。持续改进要养成批判性思考习惯,但也要认清这条曲线——做很多事每件及格,或只做一件事逼近100分,取决于当下需要广度还是深度。发散:不是所有95分都值得升级到100,关键看改进空间是否真正被在意。
原书依据 · 1 处
深入与落地互相检验
深入思考使技术人员识别原理和风险,落地能力则要求跟踪设计、实现、上线全过程,并根据资源、沟通和进度修正方案。只在图纸上成立的设计还不是交付。能力成长既要保留一个能深入探究的领域,也要对真实结果负责。
原书依据 · 1 处
第17章 团队能力的提升
团队管理面对需求、技术、人员、组织与历史遗留的不确定性,尽早显性化风险能让资源和计划围绕真实难点安排。价值分析则从做了什么,追问改善哪种质量、带来什么业务结果,以及为什么值得投入。
培养团队不能停在负责人替所有人解题,应按能力安排任务、反馈与学习,让成员能在其责任范围独立完成。独立不等于拒绝协作,而是清楚何时推进、何时暴露风险以及怎样对结果负责。
提前识别五类不确定
技术管理核心任务是项目早期主动识别防范不确定性。五类:需求不确定性(想法未成熟被迫启动)——主动和产品沟通划清哪些已清晰;技术不确定性——早期充分调研测试;人员不确定性(关键负责人离职)——靠降低耦合分摊风险;组织不确定性——靠充分沟通排期;历史遗留问题——靠系统梳理补齐认知。发散:风险把控价值窗口在早期,越拖延识别补救成本越高。
原书依据 · 1 处
技术价值的四层模型
程序员评价工作价值最容易停在第一层——功能强大、技术新颖。真正价值需往上追问:第二层对应哪个非功能性质量(可扩展性、高性能等);第三层给公司带来什么业务结果(收入、留存、成本);第四层回到公司盈利本质——技术投入最终服务于开源或节流。发散:以价值为中心的管理防止团队陷入”无效忙碌”——说不清工作对应第三四层价值,很可能是在正确地做没意义的事。
原书依据 · 1 处
独立意识决定组织是否层层补位
“独立”意味着交给一个人什么责任,他就能独自从头接住到尾。当团队每个层级都具备与职级匹配的独立能力时组织结构健康;一旦某层级不具备独立能力,就会出现组长干组员活、经理干组长活的层层错位补位,导致高层精力被拖到本该下层解决的具体事务上。发散:判断团队是否健康可观察补位现象严重程度,这比任何单点技术问题都更值得管理者优先关注。
原书依据 · 1 处
培养思维胜于解题
下属遇问题直接告诉解决办法只是及格线,真正培养要更进一层:借机会带他挖到问题背景、理解方案背后原理、讨论有没有更好办法,长期言传身教思维能力才真正提升。换位思考:跟着一个人干若能力没提升、看不到业务前景,没理由继续追随。发散:管理者核心不是自己解决问题效率最高,而是赋能他人,被培养出独立思考能力的团队才能在转型时从容切换新战场。
原书依据 · 1 处
技术人员分层培养
技术人员按能力可分初级到资深四层,培养重点各不同:初级靠代码评审+读经典书培养代码思维;中级要培养系统设计能力;高级虽有系统设计能力但缺完善方法论,需深化;资深技术已不是瓶颈,需发展业务能力成为领域技术领军人物。发散:多数技术团队成员停留在前三层,管理者培养重点不该是替下属解决问题,而是判断其所在层级、匹配对应培养手段,避免用同一套要求对待所有层级。
原书依据 · 1 处
跨章综合
分片把共享压力拆开,也把原本本地完成的更新变成跨边界协调;异步让主流程减少等待,又要求持久状态、幂等与恢复。第4—6章提供这些技术的底层前提,第8—12章展示组合后的取舍。它们都不能替业务决定哪些错误可容忍。
第13—15章补上这个缺口:先确定用户问题与质量约束,再定义模型责任,最后考虑分层、服务和流程。模型边界若持续导致联合改动,就应重新分析整体,而非继续加接口。第16—17章再把架构与人连接起来:明确风险、沟通责任、核对价值与培养独立交付能力,使设计能被实现和维护。
发散与实践
以下是读者延伸计划,首轮资料整理已写入实践卡,后续学习和实验尚未执行。优先核对CAP定义和日志恢复的模型边界,避免把原书简化直接当作协议规范。
WAL与恢复方法对照(路径见概览实践卡进度表)
共识日志的安全边界(路径见概览实践卡进度表)
核对CAP的精确定义(路径见概览实践卡进度表)