主题索引
分布式存储与复制
比较 GFS、HDFS、BigTable、MongoDB、RabbitMQ 等系统的租约、写确认、副本同步、选主与脑裂处理。
来源书籍
6/6
类别:系统架构类
历史使用规则(2026-09-25):book-notes v8(2026-09-25 v8 复核:35 个超长标题改短并按新标题重命名文件、同步数据库路径与 wikilink,摘录严格逐字复核更正 33 处,补主题索引维护;正文、类别清单 7/7、实践卡保持),详见 _workflow.md。
结论:经典原理(高浓度 + 高稳定性,最高级别)
理由:
| 章节号 | 章节标题 | 状态(pending/done) | 卡片数 |
|---|---|---|---|
| 前言 | 前言 | done | 0 |
| 第1部分 | 什么是架构(导语) | done | 0 |
| 第1章 | 五花八门的架构师职业 | done | 1 |
| 第2章 | 架构的道与术 | done | 2 |
| 第2部分 | 计算机功底(导语) | done | 0 |
| 第3章 | 语言 | done | 1 |
| 第4章 | 操作系统 | done | 10 |
| 第5章 | 网络 | done | 15 |
| 第6章 | 数据库 | done | 26 |
| 第7章 | 框架、软件与中间件 | done | 2 |
| 第3部分 | 技术架构之道(导语) | done | 0 |
| 第8章 | 高并发问题 | done | 16 |
| 第9章 | 高可用与稳定性 | done | 9 |
| 第10章 | 事务一致性 | done | 14 |
| 第11章 | 多副本一致性 | done | 13 |
| 第12章 | CAP理论 | done | 4 |
| 第4部分 | 业务架构之道(导语) | done | 0 |
| 第13章 | 业务意识 | done | 4 |
| 第14章 | 业务架构思维 | done | 9 |
| 第15章 | 技术架构与业务架构的融合 | done | 9 |
| 第5部分 | 从架构到技术管理(导语) | done | 0 |
| 第16章 | 个人素质的提升 | done | 6 |
| 第17章 | 团队能力的提升 | done | 5 |
| 术语名 | 出现章节 | 一句话语境 |
|---|
| 其他语言与框架名称(Fortran、Visual Basic、PHP、C#、Scala、Groovy、JRuby、Kotlin、Django、Zend、Rails等) | 03、07 | 作为生态与学习路线的例子,仅提名,不从外部补机制 | | Quasar Fiber、libco、Vert.x、Canal、Databus、PaxosLease、Redlock | 04、06、08、11、12 | 原书以名称指向实现或方案,细节未展开,保留待关联 | | FURPS、TOGAF、RUP、四色建模、DCI | 14、15 | 方法论谱系对照;本书没有足够逐项解释支持单独成卡 |
| 标题 | 类型 | 出现章节 | 一句话语境 |
|---|
| Advanced Programming in the UNIX Environment | 书 | 04 | 网络I/O模型参考 | | UNIX Network Programming | 书 | 04 | 网络I/O模型参考 | | Simple, Fast, and Practical Non-Blocking and Blocking Concurrent Queue Algorithms | 论文 | 04 | 无锁队列的延伸阅读 | | A Pragmatic Implementation of Non-Blocking Linked Lists | 论文 | 04 | 无锁链表延伸阅读 | | ARIES: A Transaction Recovery Method Supporting Fine-Granularity Locking and Partial Rollbacks Using Write-Ahead Logging | 论文 | 06 | 恢复方法来源,原书已有方法卡,不伪造完整论文内容 | | The Tail at Scale | 论文 | 08 | 冗余请求案例来源,统计不作本轮实测 | | KIP-101 | 框架 | 11 | Kafka旧恢复问题改进文档 | | In Search of an Understandable Consensus Algorithm | 论文 | 11 | Raft原始论文 | | Consensus: Bridging Theory and Practice | 论文 | 11 | 共识协议博士论文 | | Spanner, TrueTime and the CAP Theorem | 论文 | 12 | CAP延伸阅读 | | 语言学的邀请 | 书 | 14 | 语言抽象阶梯案例 | | 领域驱动设计:软件复杂性核心应对之道 | 书 | 15 | 领域建模方法来源 | | 数据结构与算法 | 书 | 17 | 团队培养的阅读建议 | | 代码整洁之道 | 书 | 17 | 团队培养的阅读建议 |
| 序号 | 实践标题 | 实践方式 | 状态(pending/done) | 关联章节 | 产出 |
|---|---|---|---|---|---|
| 1 | WAL与恢复方法对照 | 横向学习 | done | 06 | ideas/idea-001-用PostgreSQL源码验证ARIES三阶段.md;已填首轮对照,后续未执行 |
| 2 | 共识日志的安全边界 | 横向学习 | done | 11 | ideas/idea-002-横向对比Paxos与Raft的日志复制机制.md;已填首轮对照,后续未执行 |
| 3 | 核对CAP的精确定义 | 证据验证 | done | 12 | ideas/idea-003-用Spanner与DynamoDB验证CAP权衡是二选一.md;已填首轮对照,后续未执行 |
实践候选筛选:done
原3张实践保留路径并修正错误前提;未采用重建数据库或自行实现共识协议,因为当前目标是厘清模型边界,文献对照足以开始。实践计划已交付,未宣称完整实践完成。
| 维度 | 覆盖状态 | 关联卡片标题或未覆盖理由 |
|---|---|---|
| 1. 服务拆分原则 | 已覆盖 | ch15-004-微服务拆分的诸侯制与中央集权制.md——按子域耦合程度选择先拆后合或先合后拆 |
| 2. 通信机制(同步/异步取舍) | 已覆盖 | ch04-002-阻塞非阻塞与同步异步是两个维度.md(基础概念)+ ch08-005-异步化的本质是不阻塞主流程.md(服务调用场景下同步/异步取舍的判断标准) |
| 3. 一致性与事务权衡 | 已覆盖 | 第10章《分布式事务问题》整章(ch10-001~ch10-007):2PC/TCC/最终一致性/对账/弱一致性妥协/人工介入 |
| 4. 可观测性设计(日志/监控/链路追踪) | 已覆盖(日志/监控部分;链路追踪书中未展开,未编造补充) | ch09-005-日志报警要变被动为主动.md |
| 5. 容错设计(熔断/降级/重试等) | 已覆盖 | ch09-001-隔离限流熔断降级的责任边界.md |
| 6. 扩展性瓶颈与应对 | 已覆盖 | ch08章高并发问题整章(分片/冗余请求/推拉结合/LSM树等)+ ch06-002-分库分表的三大驱动因素.md |
| 7. 部署与发布策略 | 已覆盖 | ch09-004-灰度发布的通用套路.md |
结论:7/7已覆盖(其中”可观测性设计”维度的链路追踪子项书中确无实质讲解,不作为独立缺口处理,仅在覆盖说明中如实标注)。
本书横跨底层技术、分布式、业务架构与架构师素养,87 张卡全部复用既有主题,未新建主题。
| 卡片标题 | 结论 | 主题文件或原因 |
|---|---|---|
| 道与术的本质区分 | 已复用 | notes/_topics/architecture-cognition-intent.md |
| 道术是问题与答案的关系 | 已复用 | notes/_topics/architecture-cognition-intent.md |
| I/O优化的本质是消除拷贝层级 | 已复用 | notes/_topics/server-io-concurrency-models.md |
| 阻塞非阻塞与同步异步是两个维度 | 已复用 | notes/_topics/server-io-concurrency-models.md |
| 主动与被动I/O模型 | 已复用 | notes/_topics/server-io-concurrency-models.md |
| LT与ET是安全与性能的权衡 | 已复用 | notes/_topics/server-io-concurrency-models.md |
| 通过通信实现同步而非共享内存 | 已复用 | notes/_topics/concurrency-tasks-sync.md |
| 无锁的两个必要条件 | 已复用 | notes/_topics/lock-free-atomics.md |
| 网络2将军问题的不可解性 | 已复用 | notes/_topics/faults-partial-failure-clocks.md |
| 三次握手确认收发 | 已复用 | notes/_topics/web-transport-acceleration.md |
| TIME_WAIT的必要性 | 已复用 | notes/_topics/web-transport-acceleration.md |
| 证书链解决信任根 | 已复用 | notes/_topics/auth-and-cryptography.md |
| QUIC用前向纠错 | 已复用 | notes/_topics/web-transport-acceleration.md |
| 范式与反范式的取舍标准 | 已复用 | notes/_topics/database-design-er-modeling.md |
| 分库分表的三大驱动因素 | 已复用 | notes/_topics/distributed-data-sharding.md |
| B+树三层结构支撑两亿条记录 | 已复用 | notes/_topics/storage-data-structures.md |
| offset分页的真实代价 | 已复用 | notes/_topics/query-optimization-rewrite.md |
| 乐观锁CAS的原子三件套 | 已复用 | notes/_topics/transactions-offline-concurrency.md |
| WAL的本质 | 已复用 | notes/_topics/transaction-recovery-logging.md |
| 物理逻辑日志折中 | 已复用 | notes/_topics/transaction-recovery-logging.md |
| ARIES崩溃恢复的三阶段 | 已复用 | notes/_topics/transaction-recovery-logging.md |
| pageLSN保证幂等 | 已复用 | notes/_topics/transaction-recovery-logging.md |
| 刷盘策略决定日志机制的必要性 | 已复用 | notes/_topics/transaction-recovery-logging.md |
| Undo Log即历史版本 | 已复用 | notes/_topics/transaction-recovery-logging.md |
| 内部XA保双日志一致 | 已复用 | notes/_topics/transaction-recovery-logging.md |
| 读写分离的共同本质 | 已复用 | notes/_topics/scalability-dimensions.md |
| 冗余请求应对长尾延迟 | 已复用 | notes/_topics/scalability-dimensions.md |
| Feeds流推拉结合 | 已复用 | notes/_topics/scalability-dimensions.md |
| 数据分片与任务分片 | 已复用 | notes/_topics/scalability-dimensions.md |
| 异步化的本质是不阻塞主流程 | 已复用 | notes/_topics/scalability-dimensions.md |
| LSM树替代随机写 | 已复用 | notes/_topics/storage-data-structures.md |
| 并发下吞吐与延迟 | 已复用 | notes/_topics/thread-pool-capacity-overload.md |
| 容量预估要用峰值而非均值 | 已复用 | notes/_topics/thread-pool-capacity-overload.md |
| 隔离限流熔断降级的责任边界 | 已复用 | notes/_topics/overload-protection-degradation.md |
| 漏桶与令牌桶的本质差异 | 已复用 | notes/_topics/overload-protection-degradation.md |
| 可用性优先于一致性的工程选择 | 已复用 | notes/_topics/high-availability-architecture.md |
| 灰度发布的通用套路 | 已复用 | notes/_topics/change-release-safety.md |
| 日志报警要变被动为主动 | 已复用 | notes/_topics/logging-observability.md |
| 分布式事务问题的根源 | 已复用 | notes/_topics/distributed-transactions.md |
| 2PC的三个致命问题 | 已复用 | notes/_topics/distributed-transactions.md |
| 最终一致性的关键是不丢不重 | 已复用 | notes/_topics/distributed-transactions.md |
| TCC的Try锁定条件 | 已复用 | notes/_topics/distributed-transactions.md |
| 对账是把关注点从过程转移到结果 | 已复用 | notes/_topics/distributed-transactions.md |
| 利用业务特性做弱一致性妥协 | 已复用 | notes/_topics/distributed-transactions.md |
| 人工介入是低频异常的最优解 | 已复用 | notes/_topics/distributed-transactions.md |
| Kafka HW截断丢消息 | 已复用 | notes/_topics/message-brokers-event-logs.md |
| 复制状态机为何复制日志而非状态 | 已复用 | notes/_topics/distributed-consensus.md |
| Paxos绕开全局时钟 | 已复用 | notes/_topics/distributed-consensus.md |
| Multi Paxos变1PC | 已复用 | notes/_topics/distributed-consensus.md |
| term防脑裂与延迟提交 | 已复用 | notes/_topics/distributed-consensus.md |
| 单点写入才能保证日志时序 | 已复用 | notes/_topics/distributed-consensus.md |
| 复制日志与复制状态 | 已复用 | notes/_topics/distributed-consensus.md |
| CAP只能在AC间选 | 已复用 | notes/_topics/consistency-models.md |
| 强一致性在理论上不存在 | 已复用 | notes/_topics/consistency-models.md |
| 分布式锁难以兼顾 | 已复用 | notes/_topics/consistency-models.md |
| 信息传播的递减效应扭曲需求 | 已复用 | notes/_topics/business-architecture-modeling.md |
| 用产品手段化解技术难题 | 已复用 | notes/_topics/business-architecture-modeling.md |
| 业务的判断标准是闭环 | 已复用 | notes/_topics/business-architecture-modeling.md |
| 康威定律与业务架构的双重含义 | 已复用 | notes/_topics/org-architecture-alignment.md |
| 伪分层架构的四个识别信号 | 已复用 | notes/_topics/layered-architecture-ports.md |
| 边界思维的核心是约束而非能力 | 已复用 | notes/_topics/architecture-cognition-intent.md |
| 刨根问底到第一性 | 已复用 | notes/_topics/programmer-thinking-models.md |
| 利益相关者定边界 | 已复用 | notes/_topics/architecture-design-process.md |
| 以终为始梳理非功能性需求 | 已复用 | notes/_topics/nfr-in-design.md |
| 抽象是化繁为简但会丢失关键信息 | 已复用 | notes/_topics/programmer-thinking-models.md |
| 建模的本质是把重要的东西显性化 | 已复用 | notes/_topics/modeling-purpose-notation.md |
| 正交分解的分清分净两原则 | 已复用 | notes/_topics/modularity-information-hiding.md |
| 4+1视图五个角度 | 已复用 | notes/_topics/modeling-purpose-notation.md |
| 领域模型找不变性 | 已复用 | notes/_topics/ddd-strategic-design.md |
| 业务流程不等于系统流程 | 已复用 | notes/_topics/business-architecture-modeling.md |
| 好领域模型难做的四个原因 | 已复用 | notes/_topics/ddd-strategic-design.md |
| 微服务拆分的诸侯制与中央集权制 | 已复用 | notes/_topics/microservice-boundaries-evolution.md |
| 读写分离范围之辨 | 已复用 | notes/_topics/ddd-strategic-design.md |
| 管道过滤器到状态机 | 已复用 | notes/_topics/architecture-styles.md |
| 业务切面与业务闭环 | 已复用 | notes/_topics/extensible-application-architecture.md |
| 子域与限界上下文 | 已复用 | notes/_topics/ddd-strategic-design.md |
| SPU/SKU隔离动态属性 | 已复用 | notes/_topics/ddd-tactical-modeling.md |
| 格局是把自己的范围往外扩一圈 | 已复用 | notes/_topics/architect-growth.md |
| 历史观是把技术放进时间维度理解 | 已复用 | notes/_topics/architect-growth.md |
| 打工思维与老板思维的分界 | 已复用 | notes/_topics/architect-growth.md |
| 空杯心态是承认自己的无知 | 已复用 | notes/_topics/architect-growth.md |
| 持续改进要接受边际收益递减 | 已复用 | notes/_topics/architect-growth.md |
| 提前识别五类不确定 | 已复用 | notes/_topics/risk-driven-architecture.md |
| 技术价值的四层模型 | 已复用 | notes/_topics/business-driven-tech-evolution.md |
| 独立意识决定组织是否层层补位 | 已复用 | notes/_topics/org-architecture-alignment.md |
| 培养思维胜于解题 | 已复用 | notes/_topics/architect-growth.md |
| 技术人员分层培养 | 已复用 | notes/_topics/architect-growth.md |
执行模式:light
建档进度:done
本轮执行版本:book-workflow v4 / book-notes v23。保留历史生成信息,未回填首次Skill版本。
整书笔记包含全书主线、17章及6项导言、跨章综合与实践入口;schema 1,正文SHA-256 b5fd3561176c2aa0240c7ea5637a31b2e3f136f83e49c33e35ae7dd50105e087。146知识卡均有唯一primary和实际XHTML出处。
本轮未执行笔记复核、独立审查及审查结果优化;原有报告仅为历史记录。生成时修复28张旧卡内容及所有卡片来源定位,并新增59张卡;本轮新增与修改范围以生成前基线差异为准。
| spine项 | 类型 | 排除理由 |
|---|---|---|
| 0 titlepage.xhtml | 封面 | 仅Cover和封面图,无正文知识 |
| 1 text/part0000.html | 简介与版权 | 简介概述全书,其余出版与发行信息;元数据已取,不作为正文章 |
| 3 text/part0002.html | 纯目录 | 仅标题与导航列表,无实质讲解 |
| 问题标题 | 问题卡 | 解决方案卡(如有) | 出现章节 | 一句话说明 |
|---|---|---|---|---|
| 读改写余额丢失更新 | [[读改写余额丢失更新]] | [[先锁定再读改余额]] | 06 | 根因与方案分卡互链,原文有具体余额或转账情景 |
| 消息确认丢失会重复入账 | [[消息确认丢失会重复入账]] | [[判重与入账同事务]] | 10 | 根因与方案分卡互链,原文有具体余额或转账情景 |
| 发消息回滚可能凭空加钱 | [[发消息回滚可能凭空加钱]] | [[扣款与待发消息同事务]] | 10 | 根因与方案分卡互链,原文有具体余额或转账情景 |
从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。
主题索引
比较 GFS、HDFS、BigTable、MongoDB、RabbitMQ 等系统的租约、写确认、副本同步、选主与脑裂处理。
主题索引
比较微服务拆分的边界依据、粒度与非业务因素,以及从单体演进和持续重组的策略。
主题索引
比较主备、主从、集群、分区与异地多活等高可用架构的适用范围、数据同步与代价。
主题索引
比较限流、减载、退避重试、分级依赖与防御成本的过载应对手段。
主题索引
时序模型与拉推采集、黄金指标与分位、探针与 APM、容量与负载、监控分层。
主题索引
比较分布式共识、领导者选举、副本数量与一致性模型的可靠性取舍。
主题索引
比较实体、值对象、聚合与聚合根、工厂等战术建模要素的判定标准与设计原则。
主题索引
比较备选方案设计、评估选择、容量预估与详细设计等架构设计流程中的判断方法。
主题索引
比较缓存穿透、雪崩、热点等问题的成因与应对方案。
主题索引
比较冗余容量、故障域、逻辑与物理资源解耦等容量规划与调度方法。
主题索引
比较渐近复杂度、摊销分析、基准测试以及以抽象换空间、局部性等时间与空间效率的权衡。
主题索引
比较子域划分、通用语言、限界上下文与事件风暴等战略设计方法如何确定业务边界。
主题索引
比较变更速度、渐进发布、紧急发布与回滚边界的工程控制。
主题索引
比较内部与外部一致性、XA/2PC/3PC、CAP 与 BASE,以及可靠事件队列、TCC、SAGA、AT 等柔性事务方案。
主题索引
比较分库分片主键选择、分布式数据库选型与跨库关联查询的解法。
主题索引
比较团队边界、组织结构与技术架构如何对齐,以及组织惯性对架构变革的影响。
主题索引
比较 HTTP 认证方案、OAuth2 与 JWT、会话状态,以及摘要、加密、签名、证书与 TLS 的密码学基础。
主题索引
比较建模语言作为草稿、蓝图或编程语言的不同用途,以及表示法规则、元模型与版本演化的边界。
主题索引
比较进程/线程并发模型、I/O 多路复用、Reactor 与 Proactor 等单机高性能设计。
主题索引
比较以函数、闭包、包或服务划定模块边界并隐藏实现细节的方法。
主题索引
比较分层、洋葱与六边形架构如何隔离核心业务逻辑与外部技术细节,以及各层职责与调用规则。
主题索引
比较顺序一致性、线性一致性、外部一致性等一致性模型,以及 CAP、弱 CAP、HAT、PACELC 对系统取舍的刻画。
主题索引
比较架构风格作为预制约束集的价值与代价、风格与模式的区别,以及大泥球、镜像、回调等具体风格。
主题索引
比较以数据模型、扩展点与插件为核心的应用架构,如何在开放扩展与稳定性、安全性之间取舍。
主题索引
比较架构师所需的判断力、执行力、创新力及其积累方式与成长阶段。
主题索引
比较把安全、可靠性等非功能需求前置到设计与评审阶段的方法与取舍。
主题索引
比较水平复制、按业务拆分与数据分片等不同维度的扩展手段及其适用问题。
主题索引
比较故障与失效、部分失效、网络与超时的不确定性、时钟漂移与进程暂停,以及系统模型如何界定这些假设。
主题索引
ACID 各自的边界,脏读、不可重复读、幻读与写偏斜分别由什么机制挡住:两阶段锁与意向锁、MVCC 快照与可见性判断、可串行化快照隔离的冲突检测,以及死锁成因、锁粒度与长事务的代价。
主题索引
比较布隆过滤器、跳表、LSM 树、Merkle 树、Cuckoo 哈希等在存储系统中以空间或精度换效率的数据结构。
主题索引
比较查询优化器依赖的等价变换、语义优化条件,以及重复行、NULL 与写法选择对优化空间的影响。
主题索引
异步 RPC 的收发分离、请求标识关联响应、受理与业务完成的区别,业务线程与 IO 线程的边界,异步是否真的省掉等待,以及上下文在异步边界上的传递与丢失。
主题索引
比较抽象、逻辑、结构化、批判、维度、分类、分治、简单、解耦、契约、模型、工具化、量化、数据与产品等思维模型如何指导软件设计、问题分析与团队协作。
主题索引
从浏览器到源站的每一跳能省掉什么:强制缓存与协商缓存、DNS 解析与 HTTPDNS、HTTP/2 多路复用与 QUIC、分块传输与范围请求、静态化与动静分离、CDN 就近分发与回源,以及移动网络下减少往返的手段。
主题索引
比较业务规模与复杂度变化如何驱动技术选型和架构分阶段演进。
主题索引
预写日志与 redo/undo 的分工,检查点与日志截断,崩溃恢复的重做与回滚阶段,以及不同存储引擎在提交、刷盘与恢复时间上的取舍。
主题索引
比较业务架构的定义与框架来源,以及用战略分析、价值链、业务领域、流程任务、数据主题域与业务组件构建企业级能力模型、做标准化的方法。
主题索引
比较认识系统的方式(感受、知得与识得、真相与事实)以及架构意图如何识别、取舍与避免臆断。
主题索引
比较以失败风险决定架构投入多少、做何分析的方法,包括风险的定义与分类、分析技术光谱、设计过程对风险的安排。
主题索引
业务事务比系统事务长得多,中间隔着用户思考时间:乐观离线锁与悲观离线锁怎么选、粗粒度锁与隐含锁的代价、版本号与条件更新怎样防止覆盖、预留与冻结怎样替代事后校验,以及离线并发为什么能免则免。
主题索引
比较学习、选型、灰度引入与二次开发开源项目的方法与风险控制。
主题索引
比较线程池/工作队列如何设定容量边界、按任务类型配置线程以及越界后的拒绝、丢弃与背压策略。
主题索引
比较数据库设计各阶段、数据抽象方法、E-R 模型的要素与集成冲突、向关系模型的转换规则,以及存取方法与重组织、重构的取舍。
主题索引
原子不等于易变、volatile 不等于互斥,读改写为什么必须整体原子,竞态与数据争用的判定,内存屏障与顺序一致,双重检查锁与懒加载的发布问题,以及 Race 检测只覆盖运行路径的局限。
主题索引
告警规则与路由、SLO 与错误预算、告警疲劳,以及怎样让告警对应可行动的响应。
主题索引
比较互联网业务常见的存储层、开发层、服务层、网络层、用户层与平台层技术及其选型要点。
主题索引
Go 的 channel、select 与 context:无缓冲通道的同步交接、关闭与 ok 语义、select 默认分支与旁支撤销、取消信号与截止时间如何沿父子任务传播,以及通信表达所有权为什么能把竞态前移到编译期。