主题索引
分布式存储与复制
比较 GFS、HDFS、BigTable、MongoDB、RabbitMQ 等系统的租约、写确认、副本同步、选主与脑裂处理。
来源书籍
4/7
| 章节号 | 章节标题 | 状态(pending/done) | 卡片数 |
|---|---|---|---|
| 001 | 内容提要 | done | 0 |
| 002 | 前言 | done | 1 |
| 003 | 第1章 分布式一致性与共识算法简介 | done | 0 |
| 004 | 1.1 CAP定理 | done | 1 |
| 005 | 1.2 共识算法 | done | 2 |
| 006 | 1.3 本章小结 | done | 0 |
| 007 | 第2章 Raft核心算法分析 | done | 0 |
| 008 | 2.1 不考虑分布式一致性的集群 | done | 1 |
| 009 | 2.2 日志状态机模型 | done | 1 |
| 010 | 2.3 基于Quorum机制的写入 | done | 1 |
| 011 | 2.4 基于日志比较的选举 | done | 1 |
| 012 | 2.5 Raft算法中的选举 | done | 3 |
| 013 | 2.6 Raft算法中的日志复制 | done | 3 |
| 014 | 2.7 Raft算法中的一些细节问题 | done | 2 |
| 015 | 2.8 本章小结 | done | 0 |
| 016 | 第3章 整体设计 | done | 0 |
| 017 | 3.1 设计目标 | done | 1 |
| 018 | 3.2 设计和实现顺序 | done | 1 |
| 019 | 3.3 参考实现 | done | 0 |
| 020 | 3.4 状态数据分析 | done | 2 |
| 021 | 3.5 静态数据分析 | done | 1 |
| 022 | 3.6 集群成员与映射表 | done | 0 |
| 023 | 3.7 组件分析 | done | 1 |
| 024 | 3.8 如何解耦组件间的双向调用关系 | done | 1 |
| 025 | 3.9 线程模型分析 | done | 2 |
| 026 | 3.10 项目准备 | done | 1 |
| 027 | 3.11 本章小结 | done | 0 |
| 028 | 第4章 选举实现 | done | 1 |
| 029 | 4.1 角色建模 | done | 1 |
| 030 | 4.2 定时器组件 | done | 1 |
| 031 | 4.3 消息建模 | done | 1 |
| 032 | 4.4 关联组件和工具 | done | 1 |
| 033 | 4.5 一致性(核心)组件 | done | 1 |
| 034 | 4.6 测试 | done | 1 |
| 035 | 4.7 本章小结 | done | 0 |
| 036 | 第5章 日志实现 | done | 0 |
| 037 | 5.1 日志实现要求 | done | 1 |
| 038 | 5.2 日志实现分析 | done | 2 |
| 039 | 5.3 日志条目序列 | done | 3 |
| 040 | 5.4 日志实现 | done | 2 |
| 041 | 5.5 与选举部分对接 | done | 2 |
| 042 | 5.6 测试 | done | 1 |
| 043 | 5.7 本章小结 | done | 0 |
| 044 | 第6章 通信实现 | done | 0 |
| 045 | 6.1 通信接口分析 | done | 0 |
| 046 | 6.2 序列化与反序列化 | done | 1 |
| 047 | 6.3 通信实现分析 | done | 1 |
| 048 | 6.4 通信组件的实现 | done | 4 |
| 049 | 6.5 测试 | done | 0 |
| 050 | 6.6 本章小结 | done | 0 |
| 051 | 第7章 基于Raft算法的KV服务 | done | 0 |
| 052 | 7.1 服务设计 | done | 2 |
| 053 | 7.2 服务实现 | done | 1 |
| 054 | 7.3 Node的组装与服务的启动 | done | 1 |
| 055 | 7.4 关于测试 | done | 0 |
| 056 | 7.5 本章小结 | done | 0 |
| 057 | 第8章 客户端和整体测试 | done | 0 |
| 058 | 8.1 客户端设计与实现 | done | 2 |
| 059 | 8.2 客户端的启动和基本操作 | done | 0 |
| 060 | 8.3 单机模式 | done | 1 |
| 061 | 8.4 集群模式 | done | 2 |
| 062 | 8.5 本章小结 | done | 0 |
| 063 | 第9章 日志快照 | done | 0 |
| 064 | 9.1 日志快照的分析和设计 | done | 3 |
| 065 | 9.2 日志快照的实现 | done | 4 |
| 066 | 9.3 测试 | done | 1 |
| 067 | 9.4 本章小结 | done | 0 |
| 068 | 第10章 集群成员变更 | done | 0 |
| 069 | 10.1 集群成员的安全变更 | done | 3 |
| 070 | 10.2 成员变更的一些细节问题 | done | 3 |
| 071 | 10.3 成员组件修改 | done | 1 |
| 072 | 10.4 日志组件修改 | done | 2 |
| 073 | 10.5 增加节点 | done | 2 |
| 074 | 10.6 移除节点 | done | 1 |
| 075 | 10.7 测试 | done | 1 |
| 076 | 10.8 本章小结 | done | 0 |
| 077 | 第11章 Raft算法的优化 | done | 0 |
| 078 | 11.1 PreVote | done | 1 |
| 079 | 11.2 ReadIndex | done | 4 |
| 080 | 11.3 其他优化 | done | 4 |
| 081 | 11.4 本章小结 | done | 0 |
连续阅读、全书主线、81 个正文项讲解、跨章联系和逐卡原书定位见 _book_note.md。旧版大纲存于 _v15-overview-outline.md。
| spine项 | 类型 | 排除理由 |
|---|---|---|
1:OEBPS/Text/cover.xhtml |
非正文 | 封面、版权或纯目录,无实质正文 |
2:OEBPS/Text/copyright.xhtml |
非正文 | 封面、版权或纯目录,无实质正文 |
3:OEBPS/Text/toc.xhtml |
非正文 | 封面、版权或纯目录,无实质正文 |
| 术语名 | 出现章节 | 一句话语境 |
|---|
| 标题 | 类型(书/论文/框架/源码项目) | 出现章节 | 一句话语境 |
|---|---|---|---|
| LogCabin | 源码项目 | 019 | 原论文作者提供的 C++ Raft 参考实现 |
| etcd | 源码项目 | 019 | 本书列为 Go 语言生产实现参考 |
| TiKV | 源码项目 | 019 | 本书列为 Rust 语言参考实现 |
| braft | 源码项目 | 019 | 本书列为 C++ 语言参考实现 |
| soft-jraft | 源码项目 | 019 | 本书列为 Java 语言参考实现 |
| Atomix | 源码项目 | 019 | 本书列为 Java 语言通用化参考实现 |
| 问题标题 | 问题卡 | 解决方案卡(如有) | 出现章节 | 一句话说明 |
|---|
| 序号 | 实践标题 | 实践方式 | 状态(pending/done) | 关联章节 | 产出 |
|---|---|---|---|---|---|
| 001 | 审计共识写入的崩溃边界 | 故障案例观察 | done | 第 1、5、8 章 | ideas/idea-001-崩溃边界审计.md |
| 002 | 推演线性读的故障边界 | 故障案例观察 | done | 第 11 章 | ideas/idea-002-线性读边界推演.md |
实践候选筛选:done
筛选说明:完整重写 Raft 成本高且不能优先回答持久化顺序、线性读的具体疑问;普通成员变更命令演练已由第 10 章测试覆盖,故不另立同义实践卡。以上均为待执行计划,未实施现实行动。
| 维度 | 覆盖状态(已覆盖/补充生成/未覆盖) | 关联卡片标题或未覆盖理由 |
|---|---|---|
| 一致性模型 | 未覆盖 | ch79-001、ch79-002 说明线性一致读;全文未实质比较最终一致性与因果一致性,不能补造完整模型取舍。 |
| 共识算法 | 已覆盖 | ch05-002《Paxos三角色分工》、ch11-001《每任期一票保单领导》、ch13-001《日志落盘与提交是两种状态》。 |
| 容错假设 | 已覆盖 | ch05-001《共识需先限定故障模型》区分非恶意与恶意节点;ch10-001《多数派交集保护已确认写入》说明多数边界。 |
| 时钟与顺序问题 | 未覆盖 | ch12-001《Raft任期为选举建立逻辑顺序》、ch80-001《租约读依赖时钟边界》覆盖逻辑顺序与物理钟假设;全文未讲向量时钟。 |
| 分区处理策略 | 已覆盖 | ch04-001《CAP约束分区时的一致与可用》、ch79-001《领导者直读仍可能读旧值》讨论网络分区中的选择。 |
| 复制与数据分布 | 已覆盖 | ch13-002《复制进度双索引》、ch80-004《多Raft分区引入元数据难题》覆盖复制与分片;全文未讲一致性哈希,已注明范围。 |
| 幂等与重试设计 | 未覆盖 | ch31-001《复制响应需关联原请求》涉及响应归属;正文虽有 catch-up/快照重试,未实质讲客户端幂等、去重与失败重试的完整设计。 |
已检查全部 notes/_topics/ 真源的 front matter、成员引用与重复项。对本书 89 张稳定卡逐项作结论;仅把可用于跨书比较的共识及复制机制卡加入现有主题,具体组件和测试操作通过章节及卡片本身检索。
| 来源项 | 卡片标题 | 结论与理由 |
|---|---|---|
| 002 | 协议论文不替代工程设计 | 无需加入:具体组件/测试操作,章节和卡片检索已可定位 |
| 004 | CAP约束分区时的一致与可用 | 已复用:分布式共识与领导者选举 |
| 005 | 共识需先限定故障模型 | 已复用:分布式共识与领导者选举 |
| 005 | Paxos三角色分工 | 已复用:分布式共识与领导者选举 |
| 008 | 单领导者统一写入顺序 | 已复用:分布式共识与领导者选举 |
| 009 | 相同有序日志重放出相同状态 | 已复用:分布式共识与领导者选举 |
| 010 | 多数派交集保护已确认写入 | 已复用:分布式共识与领导者选举 |
| 011 | 每任期一票保单领导 | 已复用:分布式共识与领导者选举 |
| 012 | Raft任期为选举建立逻辑顺序 | 已复用:分布式共识与领导者选举 |
| 012 | 随机选举超时降低分票概率 | 已复用:分布式共识与领导者选举 |
| 012 | 投票先比较末日志任期再比较索引 | 已复用:分布式共识与领导者选举 |
| 013 | 日志落盘与提交是两种状态 | 已复用:分布式共识与领导者选举 |
| 013 | 复制进度双索引 | 已复用:分布式共识与领导者选举 |
| 013 | 提交后应用结果才回复写请求 | 已复用:分布式共识与领导者选举 |
| 014 | 旧任期日志不能直接按多数提交 | 已复用:分布式共识与领导者选举 |
| 014 | 当前任期空操作推进提交边界 | 已复用:分布式共识与领导者选举 |
| 017 | 共识库先守正确性 | 无需加入:具体组件/测试操作,章节和卡片检索已可定位 |
| 018 | 增量实现共识须保留端到端闭环 | 无需加入:具体组件/测试操作,章节和卡片检索已可定位 |
| 020 | 应用索引不能越过提交索引 | 已复用:分布式共识与领导者选举 |
| 020 | 节点身份不应绑定成员数组位置 | 已复用:分布式共识与领导者选举 |
| 021 | 成员列表须能从持久记录重建 | 已复用:分布式共识与领导者选举 |
| 023 | 按状态所有权拆分共识组件 | 无需加入:具体组件/测试操作,章节和卡片检索已可定位 |
| 024 | 事件总线解耦调用但仍须定义顺序 | 无需加入:具体组件/测试操作,章节和卡片检索已可定位 |
| 025 | IO线程与单线程状态处理分离 | 无需加入:具体组件/测试操作,章节和卡片检索已可定位 |
| 025 | 异步日志仍须守住持久化顺序 | 无需加入:具体组件/测试操作,章节和卡片检索已可定位 |
| 026 | 共识核心与业务状态机分模块 | 无需加入:具体组件/测试操作,章节和卡片检索已可定位 |
| 028 | 无条件投票仅是教学脚手架 | 已复用:分布式共识与领导者选举 |
| 029 | 角色切换同时管理定时任务 | 已复用:分布式共识与领导者选举 |
| 030 | 定时器接口便于控制测试时间 | 无需加入:具体组件/测试操作,章节和卡片检索已可定位 |
| 031 | 复制响应需关联原请求 | 已复用:分布式共识与领导者选举 |
| 032 | 投票信息重启后必须恢复 | 已复用:分布式共识与领导者选举 |
| 033 | 事件统一进入共识执行线程 | 无需加入:具体组件/测试操作,章节和卡片检索已可定位 |
| 034 | 正常路径测试不足以验证选举 | 无需加入:具体组件/测试操作,章节和卡片检索已可定位 |
| 037 | Raft日志须能截断冲突后缀 | 已复用:分布式共识与领导者选举 |
| 038 | 日志条目分离元信息与负载 | 已复用:分布式存储与复制 |
| 038 | 先用内存日志验证接口语义 | 已复用:分布式存储与复制 |
| 039 | 日志偏移允许快照后续接 | 已复用:分布式存储与复制 |
| 039 | 记录文件与索引文件分工 | 已复用:分布式存储与复制 |
| 039 | 日志持久化不能等到提交 | 已复用:分布式存储与复制 |
| 040 | 投票日志新旧先比任期 | 已复用:分布式共识与领导者选举 |
| 040 | 已提交前缀不可截断 | 已复用:分布式共识与领导者选举 |
| 041 | 按领导者边界提交 | 已复用:分布式共识与领导者选举 |
| 041 | 多数复制索引仍需任期校验 | 已复用:分布式共识与领导者选举 |
| 042 | 冲突日志测试需检查最终序列 | 无需加入:具体组件/测试操作,章节和卡片检索已可定位 |
| 046 | 协议消息与领域模型分离 | 无需加入:具体组件/测试操作,章节和卡片检索已可定位 |
| 047 | TCP消息需明确帧边界 | 无需加入:具体组件/测试操作,章节和卡片检索已可定位 |
| 048 | 不完整帧须等待后续字节 | 无需加入:具体组件/测试操作,章节和卡片检索已可定位 |
| 048 | 连接建立先声明节点身份 | 无需加入:具体组件/测试操作,章节和卡片检索已可定位 |
| 048 | 复制响应应关联请求序号 | 无需加入:具体组件/测试操作,章节和卡片检索已可定位 |
| 048 | 同步建连会阻塞协议线程 | 无需加入:具体组件/测试操作,章节和卡片检索已可定位 |
| 052 | 跟随者读取可能过期 | 已复用:分布式共识与领导者选举 |
| 052 | 异步写入须保留回包关联 | 已复用:分布式共识与领导者选举 |
| 053 | 测试直读不能作一致读 | 已复用:分布式共识与领导者选举 |
| 054 | 内存日志重启即归零 | 无需加入:具体组件/测试操作,章节和卡片检索已可定位 |
| 058 | 首选领导者仍需备用节点 | 无需加入:具体组件/测试操作,章节和卡片检索已可定位 |
| 058 | 成员变更与客户端列表分步 | 无需加入:具体组件/测试操作,章节和卡片检索已可定位 |
| 060 | 单节点仍要推进提交索引 | 已复用:分布式共识与领导者选举 |
| 061 | 逐步增减节点验证多数派 | 已复用:分布式共识与领导者选举 |
| 061 | 重加入还须核验日志追平 | 已复用:分布式共识与领导者选举 |
| 064 | 快照边界仍需任期信息 | 已复用:分布式存储与复制 |
| 064 | 分块安装完成前保留旧日志 | 已复用:分布式存储与复制 |
| 064 | 并发快照须比较新旧 | 已复用:分布式存储与复制 |
| 065 | 快照替换须保留后续日志 | 已复用:分布式存储与复制 |
| 065 | 状态机串行应用快照与日志 | 已复用:分布式存储与复制 |
| 065 | 追赶复制按响应连续推进 | 已复用:分布式存储与复制 |
| 065 | 快照变更后重启分块传输 | 已复用:分布式存储与复制 |
| 066 | 快照生成与安装分开验收 | 已复用:分布式存储与复制 |
| 069 | 直接换配置可产生双领导者 | 已复用:分布式共识与领导者选举 |
| 069 | 移除节点不接收新配置 | 已复用:分布式共识与领导者选举 |
| 069 | 单次只变更一个成员 | 已复用:分布式共识与领导者选举 |
| 070 | 新成员追平前不计入多数 | 已复用:分布式共识与领导者选举 |
| 070 | 移除领导者须等新配置提交 | 已复用:分布式共识与领导者选举 |
| 070 | 预投票不能保证移除成功 | 已复用:分布式共识与领导者选举 |
| 071 | 追赶副本不参与提交多数 | 已复用:分布式共识与领导者选举 |
| 072 | 配置快照对应压缩边界 | 已复用:分布式共识与领导者选举 |
| 072 | 冲突日志回退成员配置 | 已复用:分布式共识与领导者选举 |
| 073 | 追赶完成仍须提交成员日志 | 已复用:分布式共识与领导者选举 |
| 073 | 正式配置变更需串行 | 已复用:分布式共识与领导者选举 |
| 074 | 移除自身后停止选举 | 已复用:分布式共识与领导者选举 |
| 075 | 待机节点追赶后转为成员 | 已复用:分布式共识与领导者选举 |
| 078 | 预投票先验证多数再升任期 | 已复用:分布式共识与领导者选举 |
| 079 | 领导者直读仍可能读旧值 | 已复用:分布式共识与领导者选举 |
| 079 | 读索引先确认多数再等应用 | 已复用:分布式共识与领导者选举 |
| 079 | 非业务日志也推进应用索引 | 已复用:分布式共识与领导者选举 |
| 079 | 未完成读任务需要退出机制 | 已复用:分布式共识与领导者选举 |
| 080 | 租约读依赖时钟边界 | 已复用:分布式共识与领导者选举 |
| 080 | 流水复制失败须回退进度 | 已复用:分布式共识与领导者选举 |
| 080 | 领导权转移失败须恢复接单 | 已复用:分布式共识与领导者选举 |
| 080 | 多Raft分区引入元数据难题 | 已复用:分布式共识与领导者选举 |
从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。
主题索引
比较 GFS、HDFS、BigTable、MongoDB、RabbitMQ 等系统的租约、写确认、副本同步、选主与脑裂处理。
主题索引
比较分布式共识、领导者选举、副本数量与一致性模型的可靠性取舍。
主题索引
比较单元测试、变异、模糊测试、静态分析与故障注入各自能证明什么。
主题索引
比较服务发现范式、注册中心的 CAP 取舍与实现路线、网关与 BFF,以及地域与区域的流量边界。
主题索引
比较进程/线程并发模型、I/O 多路复用、Reactor 与 Proactor 等单机高性能设计。
主题索引
比较以函数、闭包、包或服务划定模块边界并隐藏实现细节的方法。
主题索引
比较数据交换格式的简洁性、互通性与安全解析要求。
主题索引
比较 REP、CCP、CRP 的组件聚合张力,以及无依赖环、稳定依赖、稳定抽象原则与 I/A 指标对组件耦合的度量。
主题索引
线程的创建、状态、join/sleep/中断与收束,任务抽象为什么高于线程,线程池与 ForkJoin 的并行度与工作窃取,守护线程、ThreadLocal 与线程私有栈在什么条件下成立,以及并发结构怎样划分执行与状态;Actor/角色把状态隔离到单一线程、用 Inbox 串行收消息,是这条线的另一种解法。
主题索引
预写日志与 redo/undo 的分工,检查点与日志截断,崩溃恢复的重做与回滚阶段,以及不同存储引擎在提交、刷盘与恢复时间上的取舍。
主题索引
比较远程方法调用中代理、消息定界、编解码与传输分层,以及泛化调用如何复用框架链路。
主题索引
组件依赖由谁提供:硬编码依赖、依赖注入、服务定位器与 DI 容器的解耦程度、可测试性与可读性取舍,以及异步初始化依赖和插件获取宿主服务的方式。
主题索引
比较扫描、时间槽与分层时钟轮的调度成本,及截止时间校验和周期任务重排的边界。