Commit Logging
写磁盘不是原子操作,还可能随时崩溃,就地改数据无法保证原子性与持久性。Commit Logging 的做法是:先把“改了什么、从何值改为何值”顺序追加写入日志,日志中出现提交记录后才真正改数据,完成后再写结束记录。有提交记录,崩溃后照日志重演即可,保证持久性;没有提交记录就当修改未发生,保证原子性。它不允许提交前写盘,突破见[[WAL的FORCE与STEAL]]。
相关风险见[[已提交未落盘丢账]]。
主题对照
预写日志与 redo/undo 的分工,检查点与日志截断,崩溃恢复的重做与回滚阶段,以及不同存储引擎在提交、刷盘与恢复时间上的取舍。
写磁盘不是原子操作,还可能随时崩溃,就地改数据无法保证原子性与持久性。Commit Logging 的做法是:先把“改了什么、从何值改为何值”顺序追加写入日志,日志中出现提交记录后才真正改数据,完成后再写结束记录。有提交记录,崩溃后照日志重演即可,保证持久性;没有提交记录就当修改未发生,保证原子性。它不允许提交前写盘,突破见[[WAL的FORCE与STEAL]]。
相关风险见[[已提交未落盘丢账]]。
[[Commit Logging]]有个硬伤:事务提交前 绝不允许把变动数据提前写盘,哪怕磁盘I/O空闲、内存缓冲区被占满也不行,这对 性能很不利。ARIES提出的Write-Ahead Logging(预写日志)允许”提前写入”, 用FORCE(提交后是否强制变动数据立即落盘)和STEAL(提交前是否允许变动数据 提前落盘)两个维度描述策略:Commit Logging等价于NO-FORCE+NO-STEAL;WAL 允许NO-FORCE也允许STEAL,代价是必须新增Undo Log(记录改前的值,供回滚 时擦除提前写入的变动)区别于原有记录改后值、供崩溃恢复重演历史的Redo Log。 崩溃恢复因此分三阶段:分析阶段从最近一个检查点开始扫描日志,找出所有没有 End Record的未完成事务;重做阶段把这些事务里带Commit Record的部分重新 写入数据(重演历史);回滚阶段把剩下没有Commit Record的”Loser”事务,按 Undo Log把提前写入的数据改回去。重做和回滚阶段的操作都必须设计成幂等的, 因为崩溃可能在恢复过程中再次发生。
结构图:
flowchart TD
A[事务修改数据] --> B{是否已提交?}
B -->|已提交, 找Commit Record| C[重做阶段 Redo: 按Redo Log重演写入]
B -->|未提交, 无Commit Record| D[回滚阶段 Undo: 按Undo Log擦除已提前写入的变动]
E[检查点 Checkpoint] --> F[分析阶段 Analysis: 扫描找出所有未完成事务]
F --> C
F --> D
G[FORCE/STEAL策略矩阵] -->|NO-FORCE+NO-STEAL| H[Commit Logging: 简单但提交前不可写盘]
G -->|NO-FORCE+STEAL| I[WAL: 需要Undo Log, 性能最优]
相关风险见[[未提交落盘留下半笔账]]。
要让传入写入首先满足[[SSTable的排序收益]]要求的”按键排序”, 最实际的办法是先在内存里维护一棵平衡树(如红黑树,称为内存表memtable)——插入 可以任意顺序,读取时天然按排序顺序输出。完整流程是:写入先加入内存表;内存表长大 超过阈值(通常几兆字节)后,把它整体高效地写成一个新的SSTable文件(因为树里的数据 已经是排序好的),随后新的写入切换到一个新的内存表实例;读取时依次查内存表、最近的 磁盘段、再下一个较旧的段;后台不断运行合并和压缩流程,组合段文件、丢弃被覆盖或 删除的值。这个方案唯一的弱点是:如果数据库崩溃,内存表里尚未落盘的最近写入会丢失。 解法是额外维护一份磁盘上的预写式日志(WAL):每次写入立即被追加到这份日志(不要求 排序,它唯一的用途是崩溃后重建内存表),一旦对应的内存表已经成功写成SSTable,这份 日志就可以被丢弃。这套算法正是LevelDB、RocksDB以及受Google Bigtable启发的Cassandra、 HBase等存储引擎(统称LSM树,日志结构合并树)的核心思路:即使数据集远大于可用内存 依然能正常工作,因为数据按排序存储所以范围查询高效,又因为磁盘写入始终是连续的 所以能支持很高的写入吞吐量。
结构图:
flowchart TD
A[写入请求] --> B[追加到WAL: 未排序, 仅用于崩溃恢复]
A --> C[写入内存表memtable: 排序的平衡树]
C -->|超过阈值大小| D[整体写成新SSTable文件]
D --> E[切换到新内存表实例]
D -->|落盘成功| F[对应WAL可丢弃]
G[读取请求] --> H[先查内存表]
H --> I[再查最近的磁盘SSTable段]
I --> J[依次查更老的段]
K[后台合并压缩流程] -.持续组合段文件, 丢弃覆盖/删除的值.-> I
数据库故障按”破坏范围有多大、影响到哪一层”分三类,破坏范围越大,需要 的恢复手段越重。事务故障范围最小,只影响单个事务本身(逻辑错误、数据 未找到、运算溢出、死锁),发生时数据库系统仍在正常运行,处理方式是 终止该事务并撤销它已做的修改(undo),不需要动用整个系统级别的恢复 机制,甚至可以靠应用程序层面的异常处理提前拦截、降低发生概率。系统 故障范围扩大到整个系统(操作系统崩溃、数据库管理系统出错、断电), 特点是内存中的数据丢失,但磁盘等非易失性存储没有被破坏——这意味着 “数据其实还在”,只是内存里尚未落盘的部分需要恢复,因此可以靠数据库 自身的恢复技术(重启后基于日志把已提交但未落盘的更新重做、把未提交 的回滚)来解决,不需要外部介入。介质故障范围最大,直接破坏外存本身 (磁盘损坏、磁头碰撞),此时”数据还在”这个前提不成立了,日志和数据 库本体可能一起被毁,恢复必须依赖故障之外的备份(转储的历史副本)加 恢复技术共同完成,事前的预防手段也从”系统内部机制”升级为”物理层面的 冗余”(如镜像服务器)。三类故障的应对思路呈现清晰的递进:影响范围 越小,越能靠系统内部的撤销/重做机制自愈;影响范围越大,越需要依赖 故障之外保留的副本。
结构图:
flowchart TD
A[事务故障: 影响单个事务<br/>系统仍正常运行] -->|终止事务, 撤销其修改| A1[无需系统级恢复]
B[系统故障: 影响整个系统<br/>内存丢失,磁盘数据完好] -->|基于日志重做已提交/回滚未提交| B1[依赖数据库自身恢复技术]
C[介质故障: 破坏外存本身<br/>数据库本体可能被毁] -->|依赖故障之外保留的转储副本| C1[恢复技术+历史备份共同完成]
仅靠定期转储的备份文件,无法保障备份时刻到故障发生这段时间内已 提交事务的持久性——这段时间的操作还没进入下一次备份,一旦系统 崩溃就可能凭空丢失,这正是日志技术存在的意义。基于日志的恢复要求 “先写日志”:任何一次数据修改,必须先把这次修改的详细信息(事务ID、 数据对象、修改前旧值、修改后新值)写入日志文件,才能真正去修改 数据库本身——这个顺序不能颠倒,否则一旦在”改了数据但还没写日志” 的瞬间崩溃,恢复时就没有任何记录能还原这次修改。日志记录本身假设 存储在可靠的稳定存储器上、不会丢失,因此系统崩溃后可以完全依赖 日志把数据库恢复到崩溃前的最新一致状态,恢复过程围绕两个互为镜像 的操作展开:undo(撤销)把某个事务已做的修改全部还原成旧值,用于 处理”没有提交就崩溃”的事务;redo(重做)把某个事务的修改重新应用 成新值,用于处理”已经提交、但改动可能还没真正落盘”的事务——因为 数据库更新往往先停留在内存缓冲区、不会立即写入磁盘,即使事务已经 提交,它的修改结果也不一定已经物理写入数据库文件,所以恢复时必须 对所有已提交事务重做一遍,确保它们的结果真的落到磁盘上,而不能 想当然认为”提交了=已经写入磁盘了”。
结构图:
flowchart LR
A[事务要修改数据] --> B[先写日志记录<br/>事务ID+旧值+新值]
B --> C[再真正修改数据库]
D[系统崩溃恢复] --> E{扫描日志判断事务状态}
E -->|已提交但可能未落盘| F[redo: 重做修改<br/>确保结果真正写入磁盘]
E -->|未提交就崩溃| G[undo: 撤销修改<br/>还原成旧值]
[[基于日志的恢复]]有个效率问题:系统长时间运行后崩溃,恢复时要从头扫描整份日志,而早期修改其实早已落盘,重做纯属浪费。检查点机制周期性地把内存中的日志记录和缓冲区数据强制写盘,再在日志中写入 checkpoint 标记。恢复时从最近的检查点开始,只需扫描检查点到故障之间的日志,确定哪些事务 redo、哪些 undo,把工作量从整个运行历史压缩到最近一个检查点周期。
映射表刷新是恢复能力和[[写放大是隐税]]的交换。运行中增量落盘能限制异常掉电后的重建范围;全量刷新实现简单但写得多,增量刷新更省性能却需要追踪脏映射。
掉电恢复依赖把用户缓存、映射表和块状态及时写入闪存。正常掉电有命令通知,异常掉电只能靠电容和日志式策略争取时间;恢复设计的目标不是不出事,而是把丢失窗口压小。
一个事务修改的多条记录分散在磁盘不同位置,若每次提交直接写磁盘要触发多次随机I/O。Write-Ahead思路:先在内存完成修改,把变更顺序追加写入日志(顺序I/O代价低),再由后台线程异步刷盘。”Ahead”指日志写入相对真实数据落盘在前面。宕机后可靠重放日志找回数据。发散:Redo Log、LSM树WAL、复制状态机日志本质都是先追加写日志再异步整理状态,核心是用顺序写替换随机写。
数据库日志有逻辑记法(记原始SQL或行改前改后值)和物理记法(记某Page哪个字节区间被改成什么)。纯逻辑日志难以判断崩溃恢复时哪些Page已写成功;纯物理日志太大(一条逻辑修改对应多条物理日志)。InnoDB的Redo Log采用折中方案:先以Page为单位组织日志,Page内部再用逻辑记法记”哪一行被改了”。发散:两极端各有硬伤时,答案往往是分层——外层一种粒度、内层嵌套另一种粒度。
ARIES先分析检查点以来的日志,确定恢复所需页与未完成事务;再按日志重做历史,包括未提交事务产生的修改;最后撤销未完成事务,并用补偿日志记录撤销进度。补偿日志使再次崩溃后的恢复可继续。撤销并非把原业务事务提交成功,原书“新增Commit”只是对正向追加恢复记录的简化类比,也不应直接等同所有数据库实现。
恢复时,日志记录的LSN与数据页记录的pageLSN比较,可判断该修改是否已经体现于页面。已生效的记录跳过,需要的修改才重做,从而避免把相同物理修改重复应用。这里依赖日志与页面版本的严格协议;不能推广成任何业务只加一个递增编号就自动幂等。
数据库对”未提交能否写盘”(Steal)和”已提交是否立即写盘”(Force)的选择决定所需日志机制。Force+No Steal不需日志但性能差;No Force+No Steal只需Redo Log;Force+Steal只需Undo Log;现代数据库用No Force+Steal最优灵活,但须同时具备Redo和Undo Log,是ARIES复杂的根源。
Undo保存撤销修改、重建旧版本所需的信息;更新记录可沿回滚指针形成版本链,为MVCC提供历史。快照读依据Read View及事务可见性规则选取版本,不是所有隔离级别都固定读取事务开始时的版本。历史版本在不再需要后才可清理。Undo既服务事务回滚,也服务一致性读取。
事务提交要同时写Redo Log(InnoDB层)和Binlog(MySQL层,用于主从复制),如何保证两者同时成功或失败?MySQL用两阶段提交:阶段一InnoDB写好Redo/Undo Log进入Prepare状态,Binlog写入内存等待刷盘;阶段二收到Commit指令先刷盘Binlog,再让InnoDB真正Commit。恢复时以Binlog是否写入成功为唯一真相源判断补Commit或回滚。
BlueStore把写入、元数据变更和空间分配封装进事务组提交,让对象数据和索引状态以一致方式落盘。没有事务边界,崩溃恢复就无法判断哪些修改已经生效。发散:存储系统里的性能优化必须围着恢复语义转,写得快但恢复不清楚等于埋雷。
BlueStore的mount流程在服务前先做两件与崩溃相关的事:加载并锁定fsid,防止同一块盘被多个BlueStore实例同时打开而破坏一致性;可选执行fsck或deep-fsck校验元数据乃至对象数据,但对象多时会大大延长OSD上电时间,所以默认关闭,可在空闲时手动执行。发散:启动流程本身就是一道一致性防线,也有时延代价。
Recovery适用于副本只落后少量更新的场景,Primary可依据PG日志和missing信息定位缺失对象并修复。日志让系统不必全量扫描每个副本。发散:日志的价值不止回放写入,也在故障后把“需要补什么”从全局问题缩小成增量问题。
纠删码同样用PG日志保证一致性,但比多副本多一步:每个分片内容不同,覆盖写前须先克隆备份。掉电重启后,已向客户端应答的写通过日志前滚继续完成;尚未应答且无法前滚的写,回滚到备份版本。应答语义决定了恢复方向。发散:部分写入的一致性,靠的是“可回退的旧版本”。
SecondaryNameNode的工作是定期合并命名空间镜像和编辑日志,生成检查点,以缩短NameNode故障后的恢复时间,并不是NameNode的热备。把检查点机制误当成高可用,会在故障预案中留下空洞。发散:组件名称容易误导,运维文档必须补偿。检查点流程见[[检查点非备份]]。
HDFS 的 INode 借鉴 Linux i-node,但主要常驻 NameNode 内存,因此可以摆脱磁盘定长结构的束缚。它保存目录树、文件属性和块索引,用对象关系换取快速命名空间操作。相关:[[主从元数据模型]]。
NameNode 维护两类关系:文件目录树到块列表的映射,以及块到 DataNode 副本的映射。前者持久化在镜像和编辑日志中,后者由 DataNode 启动上报重建。这个拆分减少持久化压力,也依赖节点上报完整性。
FSImage与FSEditLog保存的是NameNode的命名空间元数据,而不是用户数据块。FSImage是某一时刻目录树的快照,FSEditLog随运行不断追加之后的修改。启动时先加载镜像,再重放编辑日志恢复最新状态。快照降低全量恢复成本,日志保证每次变更可追溯。
检查点流程把 NameNode 的镜像和编辑日志合并成新镜像,控制编辑日志无限增长。SecondNameNode 参与的是元数据整理,不承担实时接管。相关:[[二级节点误解]]。
提交区块要同时写区块数据文件和隐私数据库,两者不是原子操作,中途崩溃会导致账本不一致。Fabric仿照两阶段提交:先调用隐私数据存储的Prepare()写入但不确认;再执行AddBlock()写区块;区块写入成功才调用Commit()确认,失败则Rollback()撤销。重启后可按区块号判断隐私数据处于已准备还是已确认状态,恢复到一致点,而无需分布式事务协调器。
Peer账本由只追加的区块数据文件、状态数据库和历史数据库组成。重启时分别检查三者的高度,若状态库或历史库落后于区块文件(例如提交状态库前崩溃),就以区块文件为准,把缺失区块读出逐一回放补齐,而不是反过来修正区块文件。区块文件是唯一的事实来源,状态库和历史库只是可随时重建的派生视图,体现了事件溯源的思路。另见[[账本拆成六个库]]。
Broker启动时创建空的abort文件,正常关闭时删除,异常关闭通常来不及删。重启时据此选择恢复路径:正常退出只从倒数第三个CommitLog文件恢复到最后,约3GB,假定数据完好;异常退出则从最后一个文件开始反向恢复。用零成本的标记区分快速路径和保守路径,比每次都全量校验高效。
重启恢复分两种:正常停止时从倒数第三个文件开始,按存储格式查找到最后一条消息;异常停止时从最后一个文件倒序找,直到某文件首条消息的存储时间早于检查点记录的刷盘时间才从它开始恢复,因为检查点代表完全可靠的位置。CommitLog是事实来源,没有消息文件时连ConsumeQueue也要销毁。
事务日志和快照是恢复状态的基础:快照是“模糊”的,恢复时要从快照对应的zxid开始重放事务日志。服务器确认事务前必须把日志同步到存储,同一设备上的其他写入(尤其快照)会拖慢吞吐,所以最佳实践是给事务日志配专用设备。定期清理时至少保留3个快照及对应日志,否则无法恢复。
把活跃数据写入内存再返回,能把磁盘写入移出用户等待路径,但从内存写入到持久化之间形成丢失窗口。主从复制、多节点副本与持久化可以缩小不同故障的影响,是否足够取决于何时确认成功及哪些副本已经保存。快速响应与数据持久性应分别约定。
点击箭头逐层展开,点击卡片标题查看详情。路径上下文仅用于连接层级,不计入主题卡片数。
来源书籍
分布式存储系统类
书籍类型:未标注
清单覆盖 7/7
47 张卡片
来源书籍
分布式存储系统类
书籍类型:速查手册
清单覆盖 6/7
20 张卡片
来源书籍
分布式存储产品实战类
书籍类型:未标注
清单覆盖 8/8
39 张卡片
来源书籍
分布式存储系统类
书籍类型:工程实践
清单覆盖 7/7
44 张卡片
来源书籍
源码分享类
书籍类型:工程实践
清单覆盖 8/8
45 张卡片
来源书籍
数据库/存储引擎类
书籍类型:工程实践
清单覆盖 5/5
114 张卡片
来源书籍
书籍类型:经典原理
142 张卡片
来源书籍
消息中间件产品实战类
书籍类型:工程实践
清单覆盖 6/8
35 张卡片
来源书籍
源码分享类
书籍类型:工程实践
清单覆盖 8/8
35 张卡片
来源书籍
书籍类型:经典原理
312 张卡片
来源书籍
书籍类型:经典原理
125 张卡片
来源书籍
分布式系统类
书籍类型:工程实践
清单覆盖 7/7
49 张卡片
来源书籍
书籍类型:经典原理
310 张卡片
来源书籍
系统架构类
书籍类型:经典原理
清单覆盖 6/6
237 张卡片
来源书籍
分布式系统类
书籍类型:工程实践
清单覆盖 4/7
89 张卡片
来源书籍
分布式系统类
书籍类型:经典原理
清单覆盖 4/4
133 张卡片
来源书籍
可观测性/监控类
书籍类型:经典原理
清单覆盖 8/8
189 张卡片
来源书籍
书籍类型:工程实践
39 张卡片
来源书籍
分布式系统类
书籍类型:经典原理
类别清单尚未核对
194 张卡片
来源书籍
数据库/存储引擎类
书籍类型:经典原理
清单覆盖 6/7
80 张卡片
来源书籍
数据库/存储引擎类
书籍类型:工程实践
清单覆盖 5/5
48 张卡片
来源书籍
书籍类型:未标注
54 张卡片
来源书籍
书籍类型:未标注
357 张卡片
来源书籍
数据库/存储引擎类
书籍类型:工程实践
清单覆盖 7/7
57 张卡片
来源书籍
数据库/存储引擎类
书籍类型:经典原理
清单覆盖 3/7
61 张卡片
来源书籍
系统架构类
书籍类型:未标注
清单覆盖 6/6
146 张卡片
来源书籍
软件架构方法论类
书籍类型:未标注
类别清单尚未核对
334 张卡片
主题索引
比较备份独立性、恢复可验证性与恢复阶段的设计要点。
主题索引
比较布隆过滤器、跳表、LSM 树、Merkle 树、Cuckoo 哈希等在存储系统中以空间或精度换效率的数据结构。
主题索引
比较 Commit Logging、WAL、Shadow Paging 等保证原子性与持久性的日志与恢复机制。
主题索引
数据最终落在介质上:闪存的组织与 FTL、写放大与磨损,以及主机到盘的接口协议与电源状态。
主题索引
比较 NAND 闪存介质特性、FTL 映射与垃圾回收、写放大、磨损平衡、掉电恢复,以及 LDPC 等纠错机制对 SSD 性能与寿命的影响。
与 3 张主题卡片存在结构化链接;来自相同书籍;属于相同分类
与 2 张主题卡片存在结构化链接;共享 2 个其他主题;来自相同书籍;属于相同分类
与 2 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类
与 2 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类
与 2 张主题卡片存在结构化链接;来自相同书籍;属于相同分类
与 2 张主题卡片存在结构化链接;来自相同书籍;属于相同分类