业务事务与系统事务错位
系统事务是数据库或事务管理器提供的有界提交单元;业务事务则是用户认为完整的一段工作,如填写账单后确认。用户思考跨越多个请求,不宜默认长期占用数据库事务。拆成短事务后,需要离线并发控制保护中间读取与提交前提。若全部修改先保存在会话中,最后在同一系统事务写出,才可利用它实现最终写集的原子性与持久性;这不等于任意多个已提交事务或外部副作用能自动获得整体ACID。
主题对照
业务事务比系统事务长得多,中间隔着用户思考时间:乐观离线锁与悲观离线锁怎么选、粗粒度锁与隐含锁的代价、版本号与条件更新怎样防止覆盖、预留与冻结怎样替代事后校验,以及离线并发为什么能免则免。
系统事务是数据库或事务管理器提供的有界提交单元;业务事务则是用户认为完整的一段工作,如填写账单后确认。用户思考跨越多个请求,不宜默认长期占用数据库事务。拆成短事务后,需要离线并发控制保护中间读取与提交前提。若全部修改先保存在会话中,最后在同一系统事务写出,才可利用它实现最终写集的原子性与持久性;这不等于任意多个已提交事务或外部副作用能自动获得整体ACID。
应尽可能让事务系统处理并发,自己跨系统事务控制并发是一片危险水域。能把业务事务放进单个系统事务或能承受长事务时,就直接这样做;离线并发模式只是退路。不得不自己处理时,首选乐观离线锁,实现容易、灵活性最好,但要到提交时才发现失败,用户填了一小时的表单才被告知失败代价很大;悲观离线锁能更早发现冲突,但更难实现、灵活性更差。选择会直接影响用户体验,所以并发不是纯技术问题,离不开对业务的理解。
应用服务器自身的并发(怎样同时处理多个请求)与前面讨论的数据源并发不同:它不涉及事务,因此打交道时用不上相对受控的事务系统这套工具,处理起来风险更直接——显式的多线程编程配合锁和同步阻塞太复杂,容易埋下几乎无法重现、只在极少数情况下发作的诡异错误,因此策略应该是尽量避免让应用开发者直接接触显式的同步和锁机制。最简单的做法是每会话一进程:每个会话独占一个进程,进程间天然完全隔离,可避免进程内共享可变对象造成的一部分线程问题,外部共享资源仍须协调(早期Perl Web系统甚至每请求建一个新进程);代价是进程很贵,大量会话意味着大量资源消耗,可以用进程池缓解——每个进程一次只处理一个请求、但能跨时间处理来自不同会话的多个请求,用更少资源撑住同样多会话,隔离性几乎不受影响(Apache mod_perl等大规模系统采用此法),唯一要小心的是必须保证每个请求结束时都彻底释放所占资源。更进一步是每会话一线程:一个进程内跑多个线程,每次请求由某个线程处理,线程比进程轻得多,能用更少硬件扛更多请求、服务器效率更高;代价是线程之间没有隔离,任何线程理论上都能碰到它能访问的任何数据。较稳妥的立场是:尽管每会话一进程效率不如每会话一线程,原书认为两者均可扩展,实际资源上限与伸缩效果须测量,前者健壮性更好(某个线程崩溃可能拖垮整个进程,而进程级隔离能限制这种破坏),对经验较少的团队而言,用硬件成本换取免于处理线程问题(以及随之而来的调试成本)往往是划算的——但很少见到有人真正做过量化的性能对比测试。
结构图:
flowchart LR
A["应用服务器并发策略"] --> B["每会话一进程<br/>(可配合进程池)"]
A --> C["每会话一线程"]
B --> B1["优:进程间完全隔离/健壮性好<br/>缺:资源消耗大(进程池缓解)"]
C --> C1["优:资源占用少/吞吐更高<br/>缺:线程间无隔离,需自行创建隔离区"]
每会话一线程时,最重要的是给每个线程一个隔离区,让开发者在区内忽略多线程问题。最常用的做法是每次请求都创建新对象,且不放到其他线程能看到的地方,如静态变量。有人怕创建对象昂贵而缓存复用,结果必须自己同步访问,又把线程问题请了回来;而在现代运行环境中,创建对象往往很便宜。例外是静态变量、全局变量、单例仍须同步,需要全局空间时用按线程存放的注册表;数据库连接这类昂贵对象则放进连接池。
乐观离线锁常见实现是给每条记录一个版本号,更新时在 where 中带上版本号,影响行数为 1 表示成功,为 0 说明已被改动,需回滚。最好同时记录最后修改人和时间,以便友好提示;不要用时间戳代替版本计数,多服务器时钟不可靠。但这只防住了更新丢失:会话 A 开账单时读取顾客地址算税率,会话 B 同时改了地址,A 从未修改地址,检查不到冲突,税率就算错了。解法是把只读但依赖其正确性的记录也纳入版本检查。
版本检查必须保护到本次写入提交;分开查询版本再写入仍有竞态,快照可重复读也可能允许不同记录之间的写偏差。具体不变量可用条件写、共同控制点或合适的可串行化协议保护,并处理冲突重试。PostgreSQL 18隔离说明明确区分快照可重复读和可串行化。
任何锁模式都不能彻底解决企业应用的并发与时序问题,因为“算不算冲突”常常是业务问题。开账单时用了顾客的旧地址算税率,是否必须阻止?也许业务上可以接受,那么该用哪个版本的地址就要由业务规则裁决,版本号检查回答不了。又如两个会话同时向同一集合添加不同元素,标准乐观锁检测不到冲突,却可能违反容量上限或元素互斥等规则。技术锁只能保证检测到的冲突被正确处理,保证不了该检测的场景都被覆盖。
源代码管理系统是最熟悉的乐观离线锁场景,检测到冲突时通常会自动合并再提交。高效的合并策略让乐观锁异常强大:不仅并发度更高,即便冲突发生,用户也基本不必重做工作。企业应用的难处在于,SCM 只需一种通用的文本合并算法,企业应用却要为形形色色的业务数据各自设计合并规则,有的复杂到不值得实现,有的简单到值得实现。加上合并机制后威力大增,但冲突如何合并又回到了业务规则上。
悲观离线锁要求业务事务在操作数据前先拿到锁,从源头上避免冲突,代价是限制并发。选锁类型时有三条路。独占写锁:只在业务事务要编辑数据时才需要获取,忽略对数据的读——两个事务不能同时编辑同一份数据,但读操作完全不受限制;如果对”读到最新数据”没有严格要求,可以优先评估这种较少限制读取的方式,但须先满足业务读一致性要求。独占读锁:业务事务哪怕只是想读到最新数据(不一定要修改)也要先拿锁,会严重限制系统并发度,一般不推荐。读/写锁:把前两者的优点结合起来——读锁和写锁互斥(有人持读锁时不能加写锁,反之亦然),但并发的读锁彼此不冲突(一个读锁只是防止别人写,不妨碍别人也来读),这样既能保证读到的数据不会中途被改,又不会像独占读锁那样把所有读操作都串行化;代价是实现起来更复杂,也给业务建模人员增加了理解负担。选锁类型时要同时兼顾并发度、业务实际需求和实现复杂度这三个维度,而且必须让领域建模人员和系统分析师也理解这套加锁策略——加锁从来不只是技术问题,选错锁类型、锁的范围过大或过小,都会导致要么挡不住真正的冲突、要么把多用户系统活生生拖成单用户体验,而这种错误没法靠更高明的技术实现来挽救,只能从加锁策略本身去修正。
结构图:
flowchart TB
A["悲观离线锁三种类型"]
A --> B["独占写锁<br/>只锁编辑,忽略读<br/>较少限制读,先核对一致性需求"]
A --> C["独占读锁<br/>读也要锁<br/>并发性最差,一般不推荐"]
A --> D["读/写锁<br/>读写互斥,读读不互斥<br/>兼顾两者,实现更复杂"]
跨系统事务实现悲观离线锁有两个坑。一是死锁:像 SELECT FOR UPDATE 那样一直等到锁可用,容易互相永久等待;业务事务动辄几分钟到二十分钟,干等毫无意义,加超时又更复杂。更干脆的做法是不等待,锁不可用就立即抛出异常,让业务事务失败,由调用方决定是否重试。二是会话丢失:客户端中途离开,事务永不结束,锁也不会释放。宜借助容器的会话超时,注册监听器在会话失效时释放其全部锁,或给锁加时间戳定期清理。
释放过期锁只解决占用清理。若旧持有者仍可能继续执行,必须在受保护写入处验证其所有权/代次或使用等价保护,不能把超时清理本身当成写入安全保证。
一组对象经常被当作一个整体来修改(比如顾客和他的一组地址),逐个加锁很麻烦——不仅调用方要自己写代码找齐所有对象才能加锁,乐观离线锁下批量读取多个对象来加锁会拖累性能,悲观离线锁下则会让锁表争夺更激烈。粗粒度锁用一把锁覆盖一整组对象来解决这个问题,关键是先为这组对象建一个”控制点”。共享锁:让组内每个对象共享同一个版本号(不是”版本相同”,而是”共用同一个版本号变量”),任何一个成员被修改,这个共享版本号递增一次,就相当于给整组对象上了锁;配合悲观离线锁时,同样可以让组内成员共享某种锁标记(一个共享的版本对象就很适合充当这个标记)。根对象锁:把一簇相关对象看作一个”聚集”(这是Eric Evans与David Siegel提出的概念)——聚集有一个唯一的根对象作为访问入口,以及定义”聚集范围”的边界,锁住这个根对象,按定义就等于锁住了整个聚集里的所有成员;要让这招管用,聚集里的每个成员都得有办法导航到根对象(可以直接持有到根的引用,也可以逐级向上访问父节点直到抵达根,层级深的话后者会拖累性能,因此导航中间对象时应该配合延迟加载——但要小心这种延迟加载如果跨越多个系统事务,可能导致系统状态不一致,这是应当避免的)。两种实现各有代价:共享锁在关系数据库里意味着几乎所有查询都要联接版本表;根对象锁则要在加锁前导航读取一批中间对象,也拖累性能,而且和悲观离线锁搭配时经常需要重新读取这些中间对象以确保它们是最新的。使用粗粒度锁最根本的理由应该是业务需求本身——比如一个带着若干资产的租约对象,允许一个用户改租约的同时另一个用户改其中的资产,在业务上根本说不通,这才是”必须把租约和资产绑成一把锁”的真正原因,而不是单纯出于技术层面的性能考量;同时也要警惕不要为了套用这个模式而生造出不自然的对象关系。
结构图:
flowchart TB
A["粗粒度锁两种实现"]
A --> B["共享锁<br/>组内成员共享同一版本号<br/>关系数据库需联接版本表"]
A --> C["根对象锁(基于聚集)<br/>锁根即锁全部成员<br/>需要导航路径+延迟加载"]
C --> D["风险:跨系统事务的延迟加载<br/>可能导致状态不一致"]
这里“共享锁”指多个对象共用业务控制点,并非数据库锁兼容矩阵中的S锁。所有修改路径,包括成员增删,都须遵守同一控制协议;普通变量自增或只锁根而允许旁路写入,都不会自动锁住整组。
加锁模式最怕有人漏写加锁代码,而离线并发问题极难测试。隐含锁把不能跳过的加锁动作下沉到框架、层超类型或代码生成中。应自动化的是乐观锁的版本存储、检查与递增,以及悲观锁中为读取获取锁、事务结束释放所有锁;唯独为编辑获取写锁不该自动化:否则写锁失效时用户无从提前知道、无法尽早止损,并发度也被压到最低。框架只需在提交前检查写锁是否已显式获取,没有就抛出并发异常,而不是依赖可能被关闭的断言。
一次付款涉及扣账户、生成订单及明细、扣库存,应在同一事务内成败一致。事务注解本身不保证余额和库存不会被并发超扣:扣减条件与受影响行数也要核验。书中订单号用进程内 AtomicLong,只能协调同一进程,重启或多实例都不能据此保证唯一;应以数据库唯一约束兜底,并选用能跨实例持续分配的编号机制。Redis 只是可选方案之一。
影厅座位是物理布局,某场次的座位状态才是抢占对象。两人同时选同座时,应只有一人成功。书中业务层先查询冲突,再调用订票写入;两步之间可被另一请求插入,仅靠预查不能证明并发互斥。须在数据库写入时以条件更新或唯一约束裁决,并核对影响行数;多座同单还要在一个事务内整体成功或失败。
书中案例:OptLock用ETag加If-Match实现无状态的乐观锁,冲突时返回409,消费者重读后重试;写入冲突频繁时会反复失败。有人提议有状态的悲观锁PesLock,架构师以破坏无状态、开锁失败、可被恶意锁定为由反对,最终先用OptLock,失败3次再回退PesLock。这是书中一种取舍,高冲突还可排队、分区等。
每个znode都有一个版本号,数据每改一次就加一。setData和delete可以带上期望的版本号,只有与服务器上的版本一致时才执行,相当于在共享状态上做比较并交换。多个客户端同时修改同一节点时,版本冲突应作为正常控制流处理,而不是静默覆盖。注意节点删除重建后版本会重置,见[[重建会重置版本]]。
一个业务动作若要修改多个节点,分开写就会暴露中间状态。multiop(3.4.0版本加入)把一组创建、删除、写数据等操作原子地执行,要么全部成功,要么全部失败,例如删除父节点及其子节点;还可以附带版本检查。它能代替“先建一个无效标记节点、改完再删”的做法,但只适合维护协调状态,不是通用事务系统。
节点被删除再重建后,版本号会从头开始。于是版本检查可能失灵:客户端按版本1回写时,节点其实已经删除重建过,版本恰好又对上了,写进去的却是错误的数据。如果要区分“同一个对象”还是“同名的新对象”,就不能只靠路径加版本,需另存创建序号或业务标识,见[[版本号就是CAS]]。
悲观锁“先取锁再访问”,如 select for update,其他会话写入时被挂起,大量请求挂起和锁竞争会消耗 CPU、效率较低,但实现简单,适合并发要求不高的应用。乐观锁假设一般不会冲突,不加数据库锁,提交时用版本号比对检测冲突,冲突就重试或失败,典型实现是 CAS。选择取决于数据冲突的概率。
去重之后,名字不同的对象可能共享同一份数据,删除一个对象只能断开它与数据的联系,不能直接删数据。有了元数据服务,删除就是给对象追加一个表示删除的特殊版本(大小为 0、散列为空),数据节点上的数据原样保留。GET 时如果最新版本是删除标记就返回 404,但历史版本仍可查询。
对象不断产生新版本,存储空间却不能无限增长,用户通常也不需要永久保留所有版本,因此需要版本留存策略。常见两类:数量限定,每个对象只保留最后若干个版本;时间限定,版本只保留固定时长,如 3 个月或半年。云存储通常提供多个价位的留存策略,保留越多收费越高。书中示例实现的是每个对象只留最后 5 个版本。
死锁是多个事务各自占着资源又请求对方的资源,形成循环等待。例如事务 1 按主键更新,先锁主键索引再锁普通索引;事务 2 按普通索引更新,先锁普通索引再锁对应主键索引,两者同时执行就互相卡住。避免办法是统一加锁顺序,如事务 2 先查出主键 ID,再按主键更新。发散:还要缩短事务并让重试成为常规能力。
在业务方法上逐个写@Transactional虽可控制事务,但大型项目可能有成百上千个业务接口,全部用注解会造成代码大量重复。书中推荐定义TransactionConfig配置类,结合AspectJ切面匹配业务层方法,业务方法不再重复标注。发散:集中配置让事务规则可审计,但事务边界仍应跟业务一致。
数仓的更新、删除和并发写入需要事务约束:一笔操作要整体成功或回滚,提交结果要持久,并发执行不能暴露违反隔离级别的数据。账户转账例子强调的是跨步骤保持一致;具体隔离级别仍须另查系统实现。
同一会议室的有效预订,先定义为左闭右开区间 [开始, 结束),两个区间重叠当且仅当 新开始 < 旧结束 && 旧开始 < 新结束。书中逐项比较端点的算法会漏掉完全相同的时段,查询也只取完全落入指定范围的旧会议。应以同一重叠条件筛选候选,并在并发提交时用数据库事务和互斥约束或锁保证检查与写入的一致性。
评论点赞示例先读出 Redis 列表中的评论 JSON,在应用内把赞数加一,再用 LSET 覆写原项。两个请求同时读取同一旧值时,可能都写回相同的新值,丢失一次点赞。应把计数更新放到能原子裁决的存储操作中,并另行定义同一用户是否可重复点赞;原书代码没有实现这两项保证。
事务中若先写库、再等待远程HTTP响应、最后继续更新,连接和已持有的锁会被网络延迟拖住,增加并发争用。
应把可独立的远程访问移出本地事务,只把必须原子提交的数据库操作留在事务内。但跨系统状态不会因移出调用自动一致,仍需单独设计确认、重试或补偿。
表11-1的两个数据库会话先后锁住不同数据,再反向请求对方已持有的锁,形成循环等待;其中一个会话因死锁而回滚。表中只有通用test表,没有具体支付对象。
表中A、B交叉执行SELECT ... FOR UPDATE,但未给索引、隔离级别和执行计划,不能据此断定具体锁类型。工程推论:若此类事务用于支付,重试前还需核实资金动作是否已发生。
两个购买请求同时读到余额 100 元,分别算出扣后余额 28 元和 38 元。若更新只按用户 ID 定位,后写的 38 元覆盖先写的 28 元,前一次扣减不再体现在余额中。根因是“读旧值—业务计算—写新值”之间没有验证余额是否被其他请求改变。对应解法见 [[余额条件更新检测并发扣减冲突]]。
针对 [[并发余额读改写会丢失扣减]],写回时同时限定用户 ID 和读取时的旧余额:UPDATE ... SET money=新值 WHERE uid=? AND money=旧值。
数据库在单条更新中比较并写入;旧值已变则影响行数为 0,本次扣减不能当作成功。调用方须重新读取并重算或明确返回冲突,且与订单结果、幂等和重试边界一起核对,避免重复扣款。
用户提交出售股票订单后,如果相应持仓仍被当成可售份额,另一个订单就可能再次使用同一部分股票。这里的正确性风险是多个出售意图引用同一份可用持仓;订单记录存在本身不代表份额已被占用。本节没有给出并发控制或失败恢复的具体算法。
可联系[[预留持仓防止重复出售]]理解条件与边界。
点击箭头逐层展开,点击卡片标题查看详情。路径上下文仅用于连接层级,不计入主题卡片数。
来源书籍
书籍类型:未标注
246 张卡片
来源书籍
系统架构类
书籍类型:工程实践
清单覆盖 3/4
134 张卡片
来源书籍
企业大数据建设类
书籍类型:工程实践
清单覆盖 6/7
143 张卡片
来源书籍
书籍类型:未标注
47 张卡片
来源书籍
书籍类型:经典原理
142 张卡片
来源书籍
软件架构方法论类
书籍类型:未标注
清单覆盖 6/6
45 张卡片
来源书籍
书籍类型:经典原理
312 张卡片
来源书籍
分布式系统类
书籍类型:工程实践
清单覆盖 7/7
49 张卡片
来源书籍
书籍类型:经典原理
310 张卡片
来源书籍
系统架构类
书籍类型:经典原理
清单覆盖 3/6
177 张卡片
来源书籍
云原生微服务实战类
书籍类型:未标注
清单覆盖 5/5
39 张卡片
来源书籍
系统架构类
书籍类型:经典原理
清单覆盖 6/6
237 张卡片
来源书籍
分布式存储系统类
书籍类型:未标注
清单覆盖 5/5
75 张卡片
来源书籍
分布式系统类
书籍类型:经典原理
清单覆盖 4/4
133 张卡片
来源书籍
系统架构类
书籍类型:工程实践
清单覆盖 5/6
44 张卡片
来源书籍
框架类
书籍类型:工程实践
清单覆盖 5/5
52 张卡片
来源书籍
书籍类型:工程实践
39 张卡片
来源书籍
书籍类型:未标注
389 张卡片
来源书籍
分布式系统类
书籍类型:经典原理
类别清单尚未核对
194 张卡片
来源书籍
书籍类型:未标注
54 张卡片
来源书籍
系统架构类
书籍类型:未标注
类别清单尚未核对
317 张卡片
来源书籍
书籍类型:未标注
357 张卡片
来源书籍
书籍类型:工程实践
清单覆盖 7/7
304 张卡片
来源书籍
书籍类型:未标注
222 张卡片
来源书籍
系统架构类
书籍类型:工程实践
清单覆盖 6/6
109 张卡片
来源书籍
系统架构类
书籍类型:未标注
清单覆盖 6/6
146 张卡片
来源书籍
高可用与云架构风险管理类。依据:全书主要处理服务拆分后的可用性、依赖故障、双活、演练与运行观测;云迁移并非本书核心内容,清单中未讲的维度如实记缺口。第13章虽提及Kubernetes和Service Mesh,本书并非以容器编排平台上的交付与运维为主要目标,故不按“云原生微服务实战类”核对。
书籍类型:工程实践
清单覆盖 6/7
379 张卡片
来源书籍
书籍类型:工程实践
30 张卡片
主题索引
比较 RPC 要解决的基本问题与历代框架取舍,以及 REST 的资源抽象、统一接口、成熟度与局限。
主题索引
比较进程/线程并发模型、I/O 多路复用、Reactor 与 Proactor 等单机高性能设计。
主题索引
比较顺序一致性、线性一致性、外部一致性等一致性模型,以及 CAP、弱 CAP、HAT、PACELC 对系统取舍的刻画。
主题索引
系统事务的隔离与锁,以及跨越多个请求的业务事务如何用乐观/悲观离线锁、粗粒度锁和隐含锁保持一致。
主题索引
跨进程互斥的分布式锁实现与取舍,以及全局唯一 ID 的生成方案和分布式计数。
主题索引
比较借助类型系统、安全库、编译器与语言选择把错误挡在编码阶段的方法。
与 4 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类
与 4 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类
与 2 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类
与 2 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类
与 2 张主题卡片存在结构化链接;来自相同书籍;属于相同分类
与 1 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类