主题对照

日志、崩溃与恢复

预写日志与 redo/undo 的分工,检查点与日志截断,崩溃恢复的重做与回滚阶段,以及不同存储引擎在提交、刷盘与恢复时间上的取舍。

88 张卡片 · 27 本书

本层 88 张卡片 · 含下级覆盖 88 张卡片

本主题的卡片

凤凰架构:构建可靠的大型分布式系统 · 第3章 事务处理

Commit Logging

写磁盘不是原子操作,还可能随时崩溃,就地改数据无法保证原子性与持久性。Commit Logging 的做法是:先把“改了什么、从何值改为何值”顺序追加写入日志,日志中出现提交记录后才真正改数据,完成后再写结束记录。有提交记录,崩溃后照日志重演即可,保证持久性;没有提交记录就当修改未发生,保证原子性。它不允许提交前写盘,突破见[[WAL的FORCE与STEAL]]。

相关风险见[[已提交未落盘丢账]]。

查看卡片与原书出处

凤凰架构:构建可靠的大型分布式系统 · 第3章 事务处理

WAL的FORCE与STEAL

[[Commit Logging]]有个硬伤:事务提交前 绝不允许把变动数据提前写盘,哪怕磁盘I/O空闲、内存缓冲区被占满也不行,这对 性能很不利。ARIES提出的Write-Ahead Logging(预写日志)允许”提前写入”, 用FORCE(提交后是否强制变动数据立即落盘)和STEAL(提交前是否允许变动数据 提前落盘)两个维度描述策略:Commit Logging等价于NO-FORCE+NO-STEAL;WAL 允许NO-FORCE也允许STEAL,代价是必须新增Undo Log(记录改前的值,供回滚 时擦除提前写入的变动)区别于原有记录改后值、供崩溃恢复重演历史的Redo Log。 崩溃恢复因此分三阶段:分析阶段从最近一个检查点开始扫描日志,找出所有没有 End Record的未完成事务;重做阶段把这些事务里带Commit Record的部分重新 写入数据(重演历史);回滚阶段把剩下没有Commit Record的”Loser”事务,按 Undo Log把提前写入的数据改回去。重做和回滚阶段的操作都必须设计成幂等的, 因为崩溃可能在恢复过程中再次发生。

结构图:

flowchart TD
    A[事务修改数据] --> B{是否已提交?}
    B -->|已提交, 找Commit Record| C[重做阶段 Redo: 按Redo Log重演写入]
    B -->|未提交, 无Commit Record| D[回滚阶段 Undo: 按Undo Log擦除已提前写入的变动]
    E[检查点 Checkpoint] --> F[分析阶段 Analysis: 扫描找出所有未完成事务]
    F --> C
    F --> D
    G[FORCE/STEAL策略矩阵] -->|NO-FORCE+NO-STEAL| H[Commit Logging: 简单但提交前不可写盘]
    G -->|NO-FORCE+STEAL| I[WAL: 需要Undo Log, 性能最优]

相关风险见[[未提交落盘留下半笔账]]。

查看卡片与原书出处

数据密集型应用系统设计 · 存储与检索

LSM树与预写日志

要让传入写入首先满足[[SSTable的排序收益]]要求的”按键排序”, 最实际的办法是先在内存里维护一棵平衡树(如红黑树,称为内存表memtable)——插入 可以任意顺序,读取时天然按排序顺序输出。完整流程是:写入先加入内存表;内存表长大 超过阈值(通常几兆字节)后,把它整体高效地写成一个新的SSTable文件(因为树里的数据 已经是排序好的),随后新的写入切换到一个新的内存表实例;读取时依次查内存表、最近的 磁盘段、再下一个较旧的段;后台不断运行合并和压缩流程,组合段文件、丢弃被覆盖或 删除的值。这个方案唯一的弱点是:如果数据库崩溃,内存表里尚未落盘的最近写入会丢失。 解法是额外维护一份磁盘上的预写式日志(WAL):每次写入立即被追加到这份日志(不要求 排序,它唯一的用途是崩溃后重建内存表),一旦对应的内存表已经成功写成SSTable,这份 日志就可以被丢弃。这套算法正是LevelDB、RocksDB以及受Google Bigtable启发的Cassandra、 HBase等存储引擎(统称LSM树,日志结构合并树)的核心思路:即使数据集远大于可用内存 依然能正常工作,因为数据按排序存储所以范围查询高效,又因为磁盘写入始终是连续的 所以能支持很高的写入吞吐量。

结构图:

flowchart TD
    A[写入请求] --> B[追加到WAL: 未排序, 仅用于崩溃恢复]
    A --> C[写入内存表memtable: 排序的平衡树]
    C -->|超过阈值大小| D[整体写成新SSTable文件]
    D --> E[切换到新内存表实例]
    D -->|落盘成功| F[对应WAL可丢弃]
    G[读取请求] --> H[先查内存表]
    H --> I[再查最近的磁盘SSTable段]
    I --> J[依次查更老的段]
    K[后台合并压缩流程] -.持续组合段文件, 丢弃覆盖/删除的值.-> I
查看卡片与原书出处

数据库原理(微课版) (郭玉彬,宋歌,边山) · 数据库安全与保护

三类故障与恢复策略

数据库故障按”破坏范围有多大、影响到哪一层”分三类,破坏范围越大,需要 的恢复手段越重。事务故障范围最小,只影响单个事务本身(逻辑错误、数据 未找到、运算溢出、死锁),发生时数据库系统仍在正常运行,处理方式是 终止该事务并撤销它已做的修改(undo),不需要动用整个系统级别的恢复 机制,甚至可以靠应用程序层面的异常处理提前拦截、降低发生概率。系统 故障范围扩大到整个系统(操作系统崩溃、数据库管理系统出错、断电), 特点是内存中的数据丢失,但磁盘等非易失性存储没有被破坏——这意味着 “数据其实还在”,只是内存里尚未落盘的部分需要恢复,因此可以靠数据库 自身的恢复技术(重启后基于日志把已提交但未落盘的更新重做、把未提交 的回滚)来解决,不需要外部介入。介质故障范围最大,直接破坏外存本身 (磁盘损坏、磁头碰撞),此时”数据还在”这个前提不成立了,日志和数据 库本体可能一起被毁,恢复必须依赖故障之外的备份(转储的历史副本)加 恢复技术共同完成,事前的预防手段也从”系统内部机制”升级为”物理层面的 冗余”(如镜像服务器)。三类故障的应对思路呈现清晰的递进:影响范围 越小,越能靠系统内部的撤销/重做机制自愈;影响范围越大,越需要依赖 故障之外保留的副本。

结构图:

flowchart TD
    A[事务故障: 影响单个事务<br/>系统仍正常运行] -->|终止事务, 撤销其修改| A1[无需系统级恢复]
    B[系统故障: 影响整个系统<br/>内存丢失,磁盘数据完好] -->|基于日志重做已提交/回滚未提交| B1[依赖数据库自身恢复技术]
    C[介质故障: 破坏外存本身<br/>数据库本体可能被毁] -->|依赖故障之外保留的转储副本| C1[恢复技术+历史备份共同完成]
查看卡片与原书出处

数据库原理(微课版) (郭玉彬,宋歌,边山) · 事务处理技术

基于日志的恢复

仅靠定期转储的备份文件,无法保障备份时刻到故障发生这段时间内已 提交事务的持久性——这段时间的操作还没进入下一次备份,一旦系统 崩溃就可能凭空丢失,这正是日志技术存在的意义。基于日志的恢复要求 “先写日志”:任何一次数据修改,必须先把这次修改的详细信息(事务ID、 数据对象、修改前旧值、修改后新值)写入日志文件,才能真正去修改 数据库本身——这个顺序不能颠倒,否则一旦在”改了数据但还没写日志” 的瞬间崩溃,恢复时就没有任何记录能还原这次修改。日志记录本身假设 存储在可靠的稳定存储器上、不会丢失,因此系统崩溃后可以完全依赖 日志把数据库恢复到崩溃前的最新一致状态,恢复过程围绕两个互为镜像 的操作展开:undo(撤销)把某个事务已做的修改全部还原成旧值,用于 处理”没有提交就崩溃”的事务;redo(重做)把某个事务的修改重新应用 成新值,用于处理”已经提交、但改动可能还没真正落盘”的事务——因为 数据库更新往往先停留在内存缓冲区、不会立即写入磁盘,即使事务已经 提交,它的修改结果也不一定已经物理写入数据库文件,所以恢复时必须 对所有已提交事务重做一遍,确保它们的结果真的落到磁盘上,而不能 想当然认为”提交了=已经写入磁盘了”。

结构图:

flowchart LR
    A[事务要修改数据] --> B[先写日志记录<br/>事务ID+旧值+新值]
    B --> C[再真正修改数据库]
    D[系统崩溃恢复] --> E{扫描日志判断事务状态}
    E -->|已提交但可能未落盘| F[redo: 重做修改<br/>确保结果真正写入磁盘]
    E -->|未提交就崩溃| G[undo: 撤销修改<br/>还原成旧值]
查看卡片与原书出处

数据库原理(微课版) (郭玉彬,宋歌,边山) · 事务处理技术

检查点缩小恢复范围

[[基于日志的恢复]]有个效率问题:系统长时间运行后崩溃,恢复时要从头扫描整份日志,而早期修改其实早已落盘,重做纯属浪费。检查点机制周期性地把内存中的日志记录和缓冲区数据强制写盘,再在日志中写入 checkpoint 标记。恢复时从最近的检查点开始,只需扫描检查点到故障之间的日志,确定哪些事务 redo、哪些 undo,把工作量从整个运行历史压缩到最近一个检查点周期。

查看卡片与原书出处

深入浅出SSD:固态存储核心技术、原理与实战 · SSD核心技术:FTL

刷映射防掉电

映射表刷新是恢复能力和[[写放大是隐税]]的交换。运行中增量落盘能限制异常掉电后的重建范围;全量刷新实现简单但写得多,增量刷新更省性能却需要追踪脏映射。

查看卡片与原书出处

深入浅出SSD:固态存储核心技术、原理与实战 · SSD核心技术:FTL

掉电恢复靠落盘

掉电恢复依赖把用户缓存、映射表和块状态及时写入闪存。正常掉电有命令通知,异常掉电只能靠电容和日志式策略争取时间;恢复设计的目标不是不出事,而是把丢失窗口压小。

查看卡片与原书出处

软件架构设计_大型网站技术架构与业务架构融合之道 · 数据库

WAL的本质

一个事务修改的多条记录分散在磁盘不同位置,若每次提交直接写磁盘要触发多次随机I/O。Write-Ahead思路:先在内存完成修改,把变更顺序追加写入日志(顺序I/O代价低),再由后台线程异步刷盘。”Ahead”指日志写入相对真实数据落盘在前面。宕机后可靠重放日志找回数据。发散:Redo Log、LSM树WAL、复制状态机日志本质都是先追加写日志再异步整理状态,核心是用顺序写替换随机写。

查看卡片与原书出处

软件架构设计_大型网站技术架构与业务架构融合之道 · 数据库

物理逻辑日志折中

数据库日志有逻辑记法(记原始SQL或行改前改后值)和物理记法(记某Page哪个字节区间被改成什么)。纯逻辑日志难以判断崩溃恢复时哪些Page已写成功;纯物理日志太大(一条逻辑修改对应多条物理日志)。InnoDB的Redo Log采用折中方案:先以Page为单位组织日志,Page内部再用逻辑记法记”哪一行被改了”。发散:两极端各有硬伤时,答案往往是分层——外层一种粒度、内层嵌套另一种粒度。

查看卡片与原书出处

软件架构设计_大型网站技术架构与业务架构融合之道 · 数据库

ARIES崩溃恢复三阶段

ARIES先分析检查点以来的日志,确定恢复所需页与未完成事务;再按日志重做历史,包括未提交事务产生的修改;最后撤销未完成事务,并用补偿日志记录撤销进度。补偿日志使再次崩溃后的恢复可继续。撤销并非把原业务事务提交成功,原书“新增Commit”只是对正向追加恢复记录的简化类比,也不应直接等同所有数据库实现。

查看卡片与原书出处

软件架构设计_大型网站技术架构与业务架构融合之道 · 数据库

pageLSN保证幂等

恢复时,日志记录的LSN与数据页记录的pageLSN比较,可判断该修改是否已经体现于页面。已生效的记录跳过,需要的修改才重做,从而避免把相同物理修改重复应用。这里依赖日志与页面版本的严格协议;不能推广成任何业务只加一个递增编号就自动幂等。

查看卡片与原书出处

软件架构设计_大型网站技术架构与业务架构融合之道 · 数据库

刷盘策略决定日志机制的必要性

数据库对”未提交能否写盘”(Steal)和”已提交是否立即写盘”(Force)的选择决定所需日志机制。Force+No Steal不需日志但性能差;No Force+No Steal只需Redo Log;Force+Steal只需Undo Log;现代数据库用No Force+Steal最优灵活,但须同时具备Redo和Undo Log,是ARIES复杂的根源。

查看卡片与原书出处

软件架构设计_大型网站技术架构与业务架构融合之道 · 数据库

Undo保留历史版本

Undo保存撤销修改、重建旧版本所需的信息;更新记录可沿回滚指针形成版本链,为MVCC提供历史。快照读依据Read View及事务可见性规则选取版本,不是所有隔离级别都固定读取事务开始时的版本。历史版本在不再需要后才可清理。Undo既服务事务回滚,也服务一致性读取。

查看卡片与原书出处

软件架构设计_大型网站技术架构与业务架构融合之道 · 数据库

内部XA保双日志一致

事务提交要同时写Redo Log(InnoDB层)和Binlog(MySQL层,用于主从复制),如何保证两者同时成功或失败?MySQL用两阶段提交:阶段一InnoDB写好Redo/Undo Log进入Prepare状态,Binlog写入内存等待刷盘;阶段二收到Commit指令先刷盘Binlog,再让InnoDB真正Commit。恢复时以Binlog是否写入成功为唯一真相源判断补Commit或回滚。

查看卡片与原书出处

Ceph之RADOS设计原理与实现 · 高效本地对象存储引擎——BlueStore

事务组统一落盘

BlueStore把写入、元数据变更和空间分配封装进事务组提交,让对象数据和索引状态以一致方式落盘。没有事务边界,崩溃恢复就无法判断哪些修改已经生效。发散:存储系统里的性能优化必须围着恢复语义转,写得快但恢复不清楚等于埋雷。

查看卡片与原书出处

Ceph之RADOS设计原理与实现 · 高效本地对象存储引擎——BlueStore

BlueStore启动先锁实例

BlueStore的mount流程在服务前先做两件与崩溃相关的事:加载并锁定fsid,防止同一块盘被多个BlueStore实例同时打开而破坏一致性;可选执行fsck或deep-fsck校验元数据乃至对象数据,但对象多时会大大延长OSD上电时间,所以默认关闭,可在空闲时手动执行。发散:启动流程本身就是一道一致性防线,也有时延代价。

查看卡片与原书出处

Ceph之RADOS设计原理与实现 · 在线数据恢复——Recovery和Backfill

Recovery依赖日志

Recovery适用于副本只落后少量更新的场景,Primary可依据PG日志和missing信息定位缺失对象并修复。日志让系统不必全量扫描每个副本。发散:日志的价值不止回放写入,也在故障后把“需要补什么”从全局问题缩小成增量问题。

查看卡片与原书出处

Ceph之RADOS设计原理与实现 · 纠删码原理与实践

EC未应答可回滚

纠删码同样用PG日志保证一致性,但比多副本多一步:每个分片内容不同,覆盖写前须先克隆备份。掉电重启后,已向客户端应答的写通过日志前滚继续完成;尚未应答且无法前滚的写,回滚到备份版本。应答语义决定了恢复方向。发散:部分写入的一致性,靠的是“可回退的旧版本”。

查看卡片与原书出处

Hadoop 技术内幕:深入解析Hadoop Common 和HDFS 架构设计与实现原理 (大数据技术丛书) · HDFS概述

二级节点误解

SecondaryNameNode的工作是定期合并命名空间镜像和编辑日志,生成检查点,以缩短NameNode故障后的恢复时间,并不是NameNode的热备。把检查点机制误当成高可用,会在故障预案中留下空洞。发散:组件名称容易误导,运维文档必须补偿。检查点流程见[[检查点非备份]]。

查看卡片与原书出处

Hadoop 技术内幕:深入解析Hadoop Common 和HDFS 架构设计与实现原理 (大数据技术丛书) · 名字节点实现

INode内存化

HDFS 的 INode 借鉴 Linux i-node,但主要常驻 NameNode 内存,因此可以摆脱磁盘定长结构的束缚。它保存目录树、文件属性和块索引,用对象关系换取快速命名空间操作。相关:[[主从元数据模型]]。

查看卡片与原书出处

Hadoop 技术内幕:深入解析Hadoop Common 和HDFS 架构设计与实现原理 (大数据技术丛书) · 名字节点实现

两类核心关系

NameNode 维护两类关系:文件目录树到块列表的映射,以及块到 DataNode 副本的映射。前者持久化在镜像和编辑日志中,后者由 DataNode 启动上报重建。这个拆分减少持久化压力,也依赖节点上报完整性。

查看卡片与原书出处

Hadoop 技术内幕:深入解析Hadoop Common 和HDFS 架构设计与实现原理 (大数据技术丛书) · 名字节点实现

镜像日志互补

FSImage与FSEditLog保存的是NameNode的命名空间元数据,而不是用户数据块。FSImage是某一时刻目录树的快照,FSEditLog随运行不断追加之后的修改。启动时先加载镜像,再重放编辑日志恢复最新状态。快照降低全量恢复成本,日志保证每次变更可追溯。

查看卡片与原书出处

Hadoop 技术内幕:深入解析Hadoop Common 和HDFS 架构设计与实现原理 (大数据技术丛书) · 名字节点实现

检查点非备份

检查点流程把 NameNode 的镜像和编辑日志合并成新镜像,控制编辑日志无限增长。SecondNameNode 参与的是元数据整理,不承担实时接管。相关:[[二级节点误解]]。

查看卡片与原书出处

Hyperledger Fabric技术内幕:架构设计与实现原理 · Committer记账节点

两阶段提交保一致

提交区块要同时写区块数据文件和隐私数据库,两者不是原子操作,中途崩溃会导致账本不一致。Fabric仿照两阶段提交:先调用隐私数据存储的Prepare()写入但不确认;再执行AddBlock()写区块;区块写入成功才调用Commit()确认,失败则Rollback()撤销。重启后可按区块号判断隐私数据处于已准备还是已确认状态,恢复到一致点,而无需分布式事务协调器。

查看卡片与原书出处

Hyperledger Fabric技术内幕:架构设计与实现原理 · 公共功能模块

区块文件是真相源

Peer账本由只追加的区块数据文件、状态数据库和历史数据库组成。重启时分别检查三者的高度,若状态库或历史库落后于区块文件(例如提交状态库前崩溃),就以区块文件为准,把缺失区块读出逐一回放补齐,而不是反过来修正区块文件。区块文件是唯一的事实来源,状态库和历史库只是可随时重建的派生视图,体现了事件溯源的思路。另见[[账本拆成六个库]]。

查看卡片与原书出处

RocketMQ分布式消息中间件:核心原理与最佳实践 2020 · Broker存储机制

abort文件定恢复路径

Broker启动时创建空的abort文件,正常关闭时删除,异常关闭通常来不及删。重启时据此选择恢复路径:正常退出只从倒数第三个CommitLog文件恢复到最后,约3GB,假定数据完好;异常退出则从最后一个文件开始反向恢复。用零成本的标记区分快速路径和保守路径,比每次都全量校验高效。

查看卡片与原书出处

RocketMQ技术内幕 RocketMQ架构设计与实现原理 · RocketMQ消息存储

正常与异常停止的差异化恢复策略

重启恢复分两种:正常停止时从倒数第三个文件开始,按存储格式查找到最后一条消息;异常停止时从最后一个文件倒序找,直到某文件首条消息的存储时间早于检查点记录的刷盘时间才从它开始恢复,因为检查点代表完全可靠的位置。CommitLog是事实来源,没有消息文件时连ConsumeQueue也要销毁。

查看卡片与原书出处

ZooKeeper:分布式过程协同技术详解 (O’Reilly精品图书系列) · 运行ZooKeeper

快照日志需要治理

事务日志和快照是恢复状态的基础:快照是“模糊”的,恢复时要从快照对应的zxid开始重放事务日志。服务器确认事务前必须把日志同步到存储,同一设备上的其他写入(尤其快照)会拖慢吞吐,所以最佳实践是给事务日志配专用设备。定期清理时至少保留3个快照及对应日志,否则无法恢复。

查看卡片与原书出处

架构真意企业级应用架构设计方法论与实践 · 第7章 分布式架构设计

内存写入仍需持久化

把活跃数据写入内存再返回,能把磁盘写入移出用户等待路径,但从内存写入到持久化之间形成丢失窗口。主从复制、多节点副本与持久化可以缩小不同故障的影响,是否足够取决于何时确认成功及哪些副本已经保存。快速响应与数据持久性应分别约定。

查看卡片与原书出处
辅助阅读:卢曼编号

按卢曼编号阅读

点击箭头逐层展开,点击卡片标题查看详情。路径上下文仅用于连接层级,不计入主题卡片数。

  • 展开或收起下级: 240 OSD日志用顺序写掩盖随机写代价 主题成员 Ceph分布式存储学习指南 (云计算与虚拟化技术丛书) · Ceph架构和组件 理解等级:未标注
  • 展开或收起下级: 535 VSCC审查特权写入 路径上下文 Hyperledger Fabric技术内幕:架构设计与实现原理 · Committer记账节点 理解等级:未标注
    • 535.c 两阶段提交保一致 主题成员 Hyperledger Fabric技术内幕:架构设计与实现原理 · Committer记账节点 理解等级:未标注
  • 537 区块文件是真相源 主题成员 Hyperledger Fabric技术内幕:架构设计与实现原理 · 公共功能模块 理解等级:未标注
  • 展开或收起下级: 602 顺序写加PageCache 路径上下文 RocketMQ分布式消息中间件:核心原理与最佳实践 2020 · Broker存储机制 理解等级:未标注
    • 602.e abort文件定恢复路径 主题成员 RocketMQ分布式消息中间件:核心原理与最佳实践 2020 · Broker存储机制 理解等级:未标注
  • 展开或收起下级: 1144 FTL的定义 路径上下文 深入浅出SSD:固态存储核心技术、原理与实战 · SSD核心技术:FTL 理解等级:未标注
    • 1144.d 刷映射防掉电 主题成员 深入浅出SSD:固态存储核心技术、原理与实战 · SSD核心技术:FTL 理解等级:未标注
    • 1144.g 掉电恢复靠落盘 主题成员 深入浅出SSD:固态存储核心技术、原理与实战 · SSD核心技术:FTL 理解等级:未标注
  • 展开或收起下级: 1719 宽表本质是有序KV 路径上下文 分布式系统与一致性 · 第4章 Google的BigTable系统 理解等级:未标注
    • 展开或收起下级: 1719.b 日志先于内存表 路径上下文 分布式系统与一致性 · 第4章 Google的BigTable系统 理解等级:未标注
      • 1719.b.1 重分配后从日志加载 主题成员 分布式系统与一致性 · 第4章 Google的BigTable系统 理解等级:中级
  • 展开或收起下级: 1726 Raft围绕日志复制 路径上下文 分布式系统与一致性 · 复制日志算法Raft 理解等级:未标注
    • 展开或收起下级: 1726.d 单领导者统一写入顺序 路径上下文 分布式一致性算法开发实战 · 2.1 不考虑分布式一致性的集群 理解等级:中级
      • 展开或收起下级: 1726.d.13 跟随者读取可能过期 路径上下文 分布式一致性算法开发实战 · 7.1 服务设计 理解等级:中级
        • 1726.d.13.c 内存日志重启即归零 主题成员 分布式一致性算法开发实战 · 7.3 Node的组装与服务的启动 理解等级:初级
  • 展开或收起下级: 1958 分治知识抽象三武器 路径上下文 恰如其分的软件架构 · 概述 理解等级:未标注
    • 展开或收起下级: 1958.ac 架构统筹整体并预防风险 路径上下文 架构真意企业级应用架构设计方法论与实践 · 第1章 架构师的修炼 理解等级:中级
      • 展开或收起下级: 1958.ac.2 五视图覆盖不同设计问题 路径上下文 架构真意企业级应用架构设计方法论与实践 · 第1章 架构师的修炼 理解等级:中级
        • 展开或收起下级: 1958.ac.2.f 领域模型连接事物行为关系 路径上下文 架构真意企业级应用架构设计方法论与实践 · 第2章 逻辑架构设计 理解等级:中级
          • 展开或收起下级: 1958.ac.2.f.5 聚合根统一修改入口 路径上下文 架构真意企业级应用架构设计方法论与实践 · 第3章 数据架构设计 理解等级:中级
            • 展开或收起下级: 1958.ac.2.f.5.j 缓存与内存主存角色有别 路径上下文 架构真意企业级应用架构设计方法论与实践 · 第7章 分布式架构设计 理解等级:中级
              • 1958.ac.2.f.5.j.1 内存写入仍需持久化 主题成员 架构真意企业级应用架构设计方法论与实践 · 第7章 分布式架构设计 理解等级:中级
  • 展开或收起下级: 2001 I/O减少中间搬运 路径上下文 软件架构设计_大型网站技术架构与业务架构融合之道 · 操作系统 理解等级:未标注
    • 2001.a 刷新缓冲不等于落盘 主题成员 软件架构设计_大型网站技术架构与业务架构融合之道 · 操作系统 理解等级:中级
  • 展开或收起下级: 2011 WAL的本质 主题成员 软件架构设计_大型网站技术架构与业务架构融合之道 · 数据库 理解等级:未标注
    • 展开或收起下级: 2011.a 物理逻辑日志折中 主题成员 软件架构设计_大型网站技术架构与业务架构融合之道 · 数据库 理解等级:未标注
      • 展开或收起下级: 2011.a.1 ARIES崩溃恢复三阶段 主题成员 软件架构设计_大型网站技术架构与业务架构融合之道 · 数据库 理解等级:未标注
        • 2011.a.1.a pageLSN保证幂等 主题成员 软件架构设计_大型网站技术架构与业务架构融合之道 · 数据库 理解等级:未标注
        • 2011.a.1.b 检查点缩小恢复范围 主题成员 软件架构设计_大型网站技术架构与业务架构融合之道 · 数据库 理解等级:中级
        • 2011.a.1.c 补偿日志保存撤销进度 主题成员 软件架构设计_大型网站技术架构与业务架构融合之道 · 数据库 理解等级:中级
      • 2011.a.2 部分页损坏需要完整副本 主题成员 软件架构设计_大型网站技术架构与业务架构融合之道 · 数据库 理解等级:中级
    • 2011.b 刷盘策略决定日志机制的必要性 主题成员 软件架构设计_大型网站技术架构与业务架构融合之道 · 数据库 理解等级:未标注
    • 2011.c Undo保留历史版本 主题成员 软件架构设计_大型网站技术架构与业务架构融合之道 · 数据库 理解等级:未标注
    • 2011.d 内部XA保双日志一致 主题成员 软件架构设计_大型网站技术架构与业务架构融合之道 · 数据库 理解等级:未标注
    • 2011.f 日志块与LSN各司其职 主题成员 软件架构设计_大型网站技术架构与业务架构融合之道 · 数据库 理解等级:中级
  • 展开或收起下级: 2091 可用性应分级,而非二元判断 路径上下文 软件系统架构:使用视点和视角与利益相关者合作(原书第2版) · 可用性和弹性视角 理解等级:未标注
    • 展开或收起下级: 2091.a 可用性包含停机与恢复时间 路径上下文 软件系统架构:使用视点和视角与利益相关者合作(原书第2版) · 可用性和弹性视角 理解等级:中级
      • 展开或收起下级: 2091.a.1 灾难恢复明确数据与停机损失 路径上下文 软件系统架构:使用视点和视角与利益相关者合作(原书第2版) · 可用性和弹性视角 理解等级:中级
        • 展开或收起下级: 2091.a.1.a 备份按一致恢复与时长验收 路径上下文 软件系统架构:使用视点和视角与利益相关者合作(原书第2版) · 可用性和弹性视角 理解等级:中级
  • 展开或收起下级: 2277 服务架构六个时代 路径上下文 凤凰架构:构建可靠的大型分布式系统 理解等级:未标注
    • 展开或收起下级: 2277.j 内部与外部一致性 路径上下文 凤凰架构:构建可靠的大型分布式系统 理解等级:未标注
      • 展开或收起下级: 2277.j.1 Commit Logging 主题成员 凤凰架构:构建可靠的大型分布式系统 · 第3章 事务处理 理解等级:未标注
        • 2277.j.1.a 已提交未落盘丢账 主题成员 凤凰架构:构建可靠的大型分布式系统 · 第3章 事务处理 理解等级:高级
      • 展开或收起下级: 2277.j.2 WAL的FORCE与STEAL 主题成员 凤凰架构:构建可靠的大型分布式系统 · 第3章 事务处理 理解等级:未标注
        • 2277.j.2.a 未提交落盘留下半笔账 主题成员 凤凰架构:构建可靠的大型分布式系统 · 第3章 事务处理 理解等级:高级
      • 2277.j.17 影子分页切换引用 主题成员 凤凰架构:构建可靠的大型分布式系统 · 第3章 事务处理 理解等级:中级
  • 展开或收起下级: 2280 故障不同于失效 路径上下文 数据密集型应用系统设计 · 可靠性、可伸缩性、可维护性 理解等级:未标注
    • 展开或收起下级: 2280.j 索引以写入换读取 路径上下文 数据密集型应用系统设计 · 存储与检索 理解等级:未标注
      • 2280.j.3 LSM树与预写日志 主题成员 数据密集型应用系统设计 · 存储与检索 理解等级:未标注
    • 展开或收起下级: 2280.n 原子性即可中止性 路径上下文 数据密集型应用系统设计 · 事务 理解等级:未标注
  • 展开或收起下级: 2281 数据管理三阶段演进 路径上下文 数据库原理(微课版) (郭玉彬,宋歌,边山) · 绪论 理解等级:未标注
    • 展开或收起下级: 2281.h 外部威胁与内部泄露 路径上下文 数据库原理(微课版) (郭玉彬,宋歌,边山) · 数据库安全与保护 理解等级:未标注
      • 2281.h.5 三类故障与恢复策略 主题成员 数据库原理(微课版) (郭玉彬,宋歌,边山) · 数据库安全与保护 理解等级:未标注
    • 展开或收起下级: 2281.n ACID四特性的分工 路径上下文 数据库原理(微课版) (郭玉彬,宋歌,边山) · 事务处理技术 理解等级:未标注
      • 2281.n.9 基于日志的恢复 主题成员 数据库原理(微课版) (郭玉彬,宋歌,边山) · 事务处理技术 理解等级:未标注
      • 2281.n.10 检查点缩小恢复范围 主题成员 数据库原理(微课版) (郭玉彬,宋歌,边山) · 事务处理技术 理解等级:未标注
      • 2281.n.12 检查点支持回滚与接替 主题成员 Software Architecture in Practice, 4th Edition · 可用性 理解等级:中级
      • 2281.n.13 前向恢复选择新安全状态 主题成员 Software Architecture in Practice, 4th Edition · 可用性 理解等级:中级
  • 展开或收起下级: 2350 BlueStore直管设备 路径上下文 Ceph之RADOS设计原理与实现 · 高效本地对象存储引擎——BlueStore 理解等级:未标注
    • 2350.d 事务组统一落盘 主题成员 Ceph之RADOS设计原理与实现 · 高效本地对象存储引擎——BlueStore 理解等级:未标注
    • 2350.e BlueStore启动先锁实例 主题成员 Ceph之RADOS设计原理与实现 · 高效本地对象存储引擎——BlueStore 理解等级:未标注
  • 2352 Recovery依赖日志 主题成员 Ceph之RADOS设计原理与实现 · 在线数据恢复——Recovery和Backfill 理解等级:未标注
  • 展开或收起下级: 2355 纠删码换空间 路径上下文 Ceph之RADOS设计原理与实现 · 纠删码原理与实践 理解等级:未标注
    • 2355.e EC未应答可回滚 主题成员 Ceph之RADOS设计原理与实现 · 纠删码原理与实践 理解等级:未标注
  • 展开或收起下级: 2367 HDFS适用边界 路径上下文 Hadoop 技术内幕:深入解析Hadoop Common 和HDFS 架构设计与实现原理 (大数据技术丛书) · HDFS概述 理解等级:未标注
    • 2367.d 二级节点误解 主题成员 Hadoop 技术内幕:深入解析Hadoop Common 和HDFS 架构设计与实现原理 (大数据技术丛书) · HDFS概述 理解等级:未标注
  • 展开或收起下级: 2369 INode内存化 主题成员 Hadoop 技术内幕:深入解析Hadoop Common 和HDFS 架构设计与实现原理 (大数据技术丛书) · 名字节点实现 理解等级:未标注
    • 2369.a 两类核心关系 主题成员 Hadoop 技术内幕:深入解析Hadoop Common 和HDFS 架构设计与实现原理 (大数据技术丛书) · 名字节点实现 理解等级:未标注
    • 2369.b 镜像日志互补 主题成员 Hadoop 技术内幕:深入解析Hadoop Common 和HDFS 架构设计与实现原理 (大数据技术丛书) · 名字节点实现 理解等级:未标注
    • 2369.c 检查点非备份 主题成员 Hadoop 技术内幕:深入解析Hadoop Common 和HDFS 架构设计与实现原理 (大数据技术丛书) · 名字节点实现 理解等级:未标注
  • 展开或收起下级: 2476 三层存储文件的职责分工 路径上下文 RocketMQ技术内幕 RocketMQ架构设计与实现原理 · RocketMQ消息存储 理解等级:未标注
  • 展开或收起下级: 2625 配置一致性优先 路径上下文 ZooKeeper:分布式过程协同技术详解 (O’Reilly精品图书系列) · 运行ZooKeeper 理解等级:未标注
    • 2625.d 快照日志需要治理 主题成员 ZooKeeper:分布式过程协同技术详解 (O’Reilly精品图书系列) · 运行ZooKeeper 理解等级:未标注
  • 展开或收起下级: 3585 协议论文不替代工程设计 路径上下文 分布式一致性算法开发实战 · 前言 理解等级:高级
  • 展开或收起下级: 4359 微服务边界封装领域与数据 路径上下文 Fundamentals of Software Architecture · Microservices Architecture 理解等级:中级
    • 展开或收起下级: 4359.g 跨服务调用需识别对方协议 路径上下文 Fundamentals of Software Architecture · Microservices Architecture 理解等级:中级
      • 展开或收起下级: 4359.g.1 编舞与编排按协作复杂度选择 路径上下文 Fundamentals of Software Architecture · Microservices Architecture 理解等级:高级
        • 展开或收起下级: 4359.g.1.c 编排协作各有代价 路径上下文 RESTful Web API Patterns and Practices Cookbook Connecting and Orchestrating Microservices and Distributed Data (Mike Amundsen) · 用超媒体思考与设计 理解等级:高级
          • 4359.g.1.c.2 撤销操作需保存历史 主题成员 RESTful Web API Patterns and Practices Cookbook Connecting and Orchestrating Microservices and Distributed Data (Mike Amundsen) · 超媒体接口设计 理解等级:中级
  • 4438 日志先行再形成有序表 主题成员 System Design Interview – An insiders guide, Second Edition · 键值存储 理解等级:中级
  • 4769 持久性保护已提交结果 主题成员 从Paxos到Zookeeper:分布式一致性原理与实践 · 分布式架构 理解等级:中级
  • 4850 快照缩短日志恢复 主题成员 从Paxos到Zookeeper:分布式一致性原理与实践 · Paxos的工程实践 理解等级:中级
  • 4959 恢复日志拆分为并行任务 主题成员 从Paxos到Zookeeper:分布式一致性原理与实践 · 典型应用场景 理解等级:中级
  • 4961 复制断点独立于执行进程 主题成员 从Paxos到Zookeeper:分布式一致性原理与实践 · 典型应用场景 理解等级:中级
  • 5057 日志文件名定位起始事务 主题成员 从Paxos到Zookeeper:分布式一致性原理与实践 · 技术内幕:系统模型与客户端 理解等级:中级
  • 5058 预分配大小不是有效日志量 主题成员 从Paxos到Zookeeper:分布式一致性原理与实践 · 技术内幕:系统模型与客户端 理解等级:中级
  • 5059 日志刷盘区别于写入缓存 主题成员 从Paxos到Zookeeper:分布式一致性原理与实践 · 技术内幕:系统模型与客户端 理解等级:中级
  • 5060 日志校验发现字节损坏 主题成员 从Paxos到Zookeeper:分布式一致性原理与实践 · 技术内幕:系统模型与客户端 理解等级:中级
  • 5062 日志预留减少频繁扩容 主题成员 从Paxos到Zookeeper:分布式一致性原理与实践 · 技术内幕:系统模型与客户端 理解等级:中级
  • 5064 截断保留合法历史前缀 主题成员 从Paxos到Zookeeper:分布式一致性原理与实践 · 技术内幕:系统模型与客户端 理解等级:中级
  • 5065 快照边界决定回放起点 主题成员 从Paxos到Zookeeper:分布式一致性原理与实践 · 技术内幕:系统模型与客户端 理解等级:中级
  • 5066 随机快照分散集中开销 主题成员 从Paxos到Zookeeper:分布式一致性原理与实践 · 技术内幕:系统模型与客户端 理解等级:中级
  • 5067 快照与日志承担互补恢复 主题成员 从Paxos到Zookeeper:分布式一致性原理与实践 · 技术内幕:系统模型与客户端 理解等级:中级
  • 5069 恢复选择可校验的快照 主题成员 从Paxos到Zookeeper:分布式一致性原理与实践 · 技术内幕:系统模型与客户端 理解等级:中级
  • 5070 回放同时重建同步缓存 主题成员 从Paxos到Zookeeper:分布式一致性原理与实践 · 技术内幕:系统模型与客户端 理解等级:中级
  • 5071 恢复校验领导周期状态 主题成员 从Paxos到Zookeeper:分布式一致性原理与实践 · 技术内幕:系统模型与客户端 理解等级:中级
  • 5080 日志刷盘保护持久承诺 主题成员 从Paxos到Zookeeper:分布式一致性原理与实践 · ZooKeeper运维 理解等级:高级
  • 5095 清理日志必须保留恢复链 主题成员 从Paxos到Zookeeper:分布式一致性原理与实践 · ZooKeeper运维 理解等级:中级
  • 5134 检查点加重放恢复写入 主题成员 可观测性工程 · 第16章 高效的数据存储 理解等级:中级

未编号或编号待整理

来源书籍

来源书籍

Ceph分布式存储实战

分布式存储产品实战类

Skill 版本:v1

书籍类型:未标注

清单覆盖 8/8

39 张卡片

来源书籍

分布式系统与一致性

分布式系统类

Skill 版本:v23

书籍类型:经典原理

清单覆盖 4/4

133 张卡片

来源书籍

可观测性工程

可观测性/监控类

Skill 版本:v23

书籍类型:经典原理

清单覆盖 8/8

189 张卡片

主题索引

备份与故障恢复

比较备份独立性、恢复可验证性与恢复阶段的设计要点。

198 张卡片 · 40 本书

主题索引

存储常用数据结构

比较布隆过滤器、跳表、LSM 树、Merkle 树、Cuckoo 哈希等在存储系统中以空间或精度换效率的数据结构。

108 张卡片 · 30 本书

主题索引

事务日志与崩溃恢复

比较 Commit Logging、WAL、Shadow Paging 等保证原子性与持久性的日志与恢复机制。

88 张卡片 · 27 本书

主题索引

存储介质与接口

数据最终落在介质上:闪存的组织与 FTL、写放大与磨损,以及主机到盘的接口协议与电源状态。

80 张卡片 · 12 本书

主题索引

固态存储与FTL

比较 NAND 闪存介质特性、FTL 映射与垃圾回收、写放大、磨损平衡、掉电恢复,以及 LDPC 等纠错机制对 SSD 性能与寿命的影响。

42 张卡片 · 6 本书