主题索引
分布式存储与复制
比较 GFS、HDFS、BigTable、MongoDB、RabbitMQ 等系统的租约、写确认、副本同步、选主与脑裂处理。
来源书籍
- 全书信息浓度高,核心不是命令步骤,而是解释 RADOS 如何把对象、PG、OSDMap、CRUSH、BlueStore、Peering、Recovery、Scrub、dmClock 和纠删码组织成可扩展的分布式对象存储系统。 - 第1章用对象到 PG 再到 OSD 的映射链条解释去中心化寻址,第2章围绕 CRUSH 讨论计算寻址、故障域和数据重平衡,第6~8章解释 PG 状态迁移、在线恢复与一致性校验,都是“为什么这样设计”的内容。 - 稳定性不算最高,因为书中大量实现细节绑定 Ceph 当时的代码结构、Luminous 时代的 BlueStore 配置参数、balancer/dmClock 的社区实现状态,以及具体命令与插件能力。 - 综合来看,它非常适合建立 RADOS 工程实现模型,但不是脱离特定产品版本也完全稳定的纯系统原理书,因此落在“工程实践”象限。
7/7
Skill 版本:未记录(历史版本,保留)
类别:分布式存储系统类
本次实际使用规则:book-notes v8(2026-09-25 v8 升级:44 张卡补齐“位置/结论依据/原始内容”证据字段并逐字核验,分类统一为普通读书笔记卡;按旧审查报告新增 3 张卡(Monitor多数派护图、BlueStore启动先锁实例、EC未应答可回滚),为 dmClock 等卡补版本边界,补恢复链与 EC 一致性链的互链;新增 2 张实践卡;补类别清单与主题索引维护),详见 _workflow.md。
理由:
| 章节号 | 章节标题 | 精读/略读 | 状态 | 卡片数 |
|---|---|---|---|---|
| 1 | 一生万物——RADOS导论 | 精读 | done | 4 |
| 2 | 计算寻址之美与数据平衡之殇——CRUSH | 精读 | done | 5 |
| 3 | 集群的大脑——Monitor | 精读 | done | 4 |
| 4 | 存储的基石——OSD | 精读 | done | 4 |
| 5 | 高效本地对象存储引擎——BlueStore | 精读 | done | 6 |
| 6 | 移动的对象载体——PG | 精读 | done | 5 |
| 7 | 在线数据恢复——Recovery和Backfill | 精读 | done | 4 |
| 8 | 数据正确性与一致性的守护者——Scrub | 精读 | done | 4 |
| 9 | 基于dmClock的分布式流控策略 | 精读 | done | 5 |
| 10 | 纠删码原理与实践 | 精读 | done | 6 |
| 序号 | 实践标题 | 实践方式 | 状态 | 关联章节 | 产出 |
|---|---|---|---|---|---|
| 1 | 读CRUSH选择源码 | 实现深读 | done | 第2章 | CRUSH 调用链与手工演算记录(计划) |
| 2 | 对照当前mClock文档核验QoS | 证据验证 | done | 第9章 | 书中机制与当前实现对照表(计划) |
候选筛选:搭建真实 Ceph 集群观察恢复与 Scrub 的成本过高,未生成。done 只表示实践计划已成卡,实际未执行。
| 维度 | 覆盖状态 | 关联卡片标题或未覆盖理由 |
|---|---|---|
| 存储接口、对象模型与命名空间 | 已覆盖 | [[对象抽象降语义]]、[[PG是映射中间层]]、[[有序命名便于扫描]] |
| 数据放置、分片与负载均衡 | 已覆盖 | [[CRUSH计算寻址]]、[[故障域拓扑]]、[[放置规则解耦]]、[[stable_mod平滑分裂]]、[[upmap局部修正]] |
| 复制、纠删码与一致性 | 已覆盖 | [[Primary协调副本]]、[[纠删码换空间]]、[[EC未应答可回滚]]、[[Scrub补日志盲区]] |
| 元数据、控制面与故障恢复 | 已覆盖 | [[Monitor多数派护图]]、[[OSDMap版本化]]、[[Peering恢复视图]]、[[Recovery依赖日志]] |
| 读写路径、缓存与性能 | 已覆盖 | [[BlueStore直管设备]]、[[缓存消化速度差]]、[[事务组统一落盘]]、[[op队列隔离]] |
| 异构硬件、容量与成本取舍 | 已覆盖 | [[BlueFS服务元数据]]、[[权重平衡有代价]]、[[满阈值保护写入]] |
| 运维、可观测性与版本演化 | 已覆盖 | [[管理面不进数据面]]、[[在线恢复要节流]]、[[dmClock下放调度]](含版本边界说明) |
核对结论:7/7 维度有原文支撑的知识卡。
本书剖析 Ceph RADOS 的放置、复制、恢复、校验与流控;新建 1 个主题(Ceph RADOS 内部机制),其余复用既有主题,47 张卡全部归入主题。
| 卡片标题 | 结论 | 主题文件或原因 |
|---|---|---|
| RADOS去中心化 | 已创建 | notes/_topics/ceph-rados-internals.md |
| PG是映射中间层 | 已创建 | notes/_topics/ceph-rados-internals.md |
| 对象抽象降语义 | 已复用 | notes/_topics/storage-interface-protocols.md |
| stable_mod平滑分裂 | 已创建 | notes/_topics/ceph-rados-internals.md |
| CRUSH计算寻址 | 已创建 | notes/_topics/ceph-rados-internals.md |
| 故障域拓扑 | 已复用 | notes/_topics/high-availability-architecture.md |
| 放置规则解耦 | 已创建 | notes/_topics/ceph-rados-internals.md |
| 权重平衡有代价 | 已复用 | notes/_topics/distributed-data-sharding.md |
| upmap局部修正 | 已创建 | notes/_topics/ceph-rados-internals.md |
| Monitor管元数据 | 已复用 | notes/_topics/distributed-consensus.md |
| OSDMap版本化 | 已创建 | notes/_topics/ceph-rados-internals.md |
| 管理面不进数据面 | 已复用 | notes/_topics/service-discovery-gateway.md |
| Monitor多数派护图 | 已复用 | notes/_topics/distributed-consensus.md |
| OSD自治存储 | 已复用 | notes/_topics/faults-partial-failure-clocks.md |
| 上电加入视图 | 已复用 | notes/_topics/faults-partial-failure-clocks.md |
| 心跳分辨故障 | 已复用 | notes/_topics/faults-partial-failure-clocks.md |
| 满阈值保护写入 | 已复用 | notes/_topics/overload-protection-degradation.md |
| BlueStore直管设备 | 已复用 | notes/_topics/storage-data-structures.md |
| RocksDB管元数据 | 已复用 | notes/_topics/storage-data-structures.md |
| BlueFS服务元数据 | 已复用 | notes/_topics/storage-data-structures.md |
| 缓存消化速度差 | 已复用 | notes/_topics/caching-strategies.md |
| 事务组统一落盘 | 已复用 | notes/_topics/transaction-recovery-logging.md |
| BlueStore启动先锁实例 | 已复用 | notes/_topics/transaction-recovery-logging.md |
| PG承接策略执行 | 已创建 | notes/_topics/ceph-rados-internals.md |
| Primary协调副本 | 已复用 | notes/_topics/distributed-storage-replication.md |
| op队列隔离 | 已创建 | notes/_topics/ceph-rados-internals.md |
| Peering恢复视图 | 已复用 | notes/_topics/distributed-storage-replication.md |
| 状态机收束复杂度 | 已创建 | notes/_topics/ceph-rados-internals.md |
| Recovery依赖日志 | 已复用 | notes/_topics/transaction-recovery-logging.md |
| Backfill补历史断层 | 已创建 | notes/_topics/ceph-rados-internals.md |
| 修复先预留资源 | 已复用 | notes/_topics/overload-protection-degradation.md |
| 在线恢复要节流 | 已复用 | notes/_topics/overload-protection-degradation.md |
| Scrub补日志盲区 | 已复用 | notes/_topics/distributed-storage-replication.md |
| 有序命名便于扫描 | 已创建 | notes/_topics/ceph-rados-internals.md |
| 摘要聚合比对 | 已复用 | notes/_topics/distributed-storage-replication.md |
| Scrub抢占降延迟 | 已复用 | notes/_topics/overload-protection-degradation.md |
| 分布式QoS难点 | 已复用 | notes/_topics/thread-pool-capacity-overload.md |
| mClock三类目标 | 已复用 | notes/_topics/thread-pool-capacity-overload.md |
| dmClock下放调度 | 已复用 | notes/_topics/thread-pool-capacity-overload.md |
| 卷作为QoS客户 | 已复用 | notes/_topics/thread-pool-capacity-overload.md |
| 后台任务也限流 | 已复用 | notes/_topics/overload-protection-degradation.md |
| 纠删码换空间 | 已复用 | notes/_topics/backup-disaster-recovery.md |
| 有限域保证恢复 | 已复用 | notes/_topics/backup-disaster-recovery.md |
| 插件隐藏编码差异 | 已复用 | notes/_topics/backup-disaster-recovery.md |
| 覆盖写会放大 | 已复用 | notes/_topics/backup-disaster-recovery.md |
| EC校验可重算 | 已复用 | notes/_topics/distributed-storage-replication.md |
| EC未应答可回滚 | 已复用 | notes/_topics/transaction-recovery-logging.md |
从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。
主题索引
比较 GFS、HDFS、BigTable、MongoDB、RabbitMQ 等系统的租约、写确认、副本同步、选主与脑裂处理。
主题索引
比较主备、主从、集群、分区与异地多活等高可用架构的适用范围、数据同步与代价。
主题索引
比较限流、减载、退避重试、分级依赖与防御成本的过载应对手段。
主题索引
比较分布式共识、领导者选举、副本数量与一致性模型的可靠性取舍。
主题索引
比较缓存穿透、雪崩、热点等问题的成因与应对方案。
主题索引
比较分库分片主键选择、分布式数据库选型与跨库关联查询的解法。
主题索引
比较服务发现范式、注册中心的 CAP 取舍与实现路线、网关与 BFF,以及地域与区域的流量边界。
主题索引
比较备份独立性、恢复可验证性与恢复阶段的设计要点。
主题索引
比较故障与失效、部分失效、网络与超时的不确定性、时钟漂移与进程暂停,以及系统模型如何界定这些假设。
主题索引
比较布隆过滤器、跳表、LSM 树、Merkle 树、Cuckoo 哈希等在存储系统中以空间或精度换效率的数据结构。
主题索引
把多台机器组成一个存储系统:Ceph 的数据分布与恢复、软件定义存储的服务化,以及超融合把计算与存储并到同一节点后的取舍。
主题索引
比较 Commit Logging、WAL、Shadow Paging 等保证原子性与持久性的日志与恢复机制。
主题索引
预写日志与 redo/undo 的分工,检查点与日志截断,崩溃恢复的重做与回滚阶段,以及不同存储引擎在提交、刷盘与恢复时间上的取舍。
主题索引
数据最终落在介质上:闪存的组织与 FTL、写放大与磨损,以及主机到盘的接口协议与电源状态。
主题索引
比较线程池/工作队列如何设定容量边界、按任务类型配置线程以及越界后的拒绝、丢弃与背压策略。
主题索引
比较 RADOS 中 CRUSH 计算寻址、PG 映射与状态机、Monitor 权威集群表、BlueStore 本地存储,以及 Peering、Recovery、Backfill、Scrub 构成的恢复与校验链。
主题索引
比较 PCIe 分层、TLP 事务与流控、NVMe 队列与寻址、NVMe over Fabrics,以及 SATA/PCIe/NVMe 的电源管理机制。