主题索引
分布式存储与复制
比较 GFS、HDFS、BigTable、MongoDB、RabbitMQ 等系统的租约、写确认、副本同步、选主与脑裂处理。
来源书籍
Skill 版本:v23
执行模式:light
建档进度:done
信息浓度:高
稳定性/时效性:高(沿用总表初评;共识、复制、会话等原理耐久,2015年的API与源码细节需核对)
四象限:经典原理
评级依据:全文含16个实质正文项及嵌入材料已读;提交/共识、ZAB、客户端到提交/存储恢复提供高密度机制解释。经典原理耐久,但API、源码与运维示例截至3.4.6,实践需另核对目标版本。生成时有证据的用语歧义已作边界澄清。
整书笔记:_book_note.md,schema 1,全文讲解已完成。
| 章节号 | 章节标题 | 状态(pending/done) | 卡片数 |
|---|---|---|---|
| 00 | 问题的提出 | done | 6 |
| 01 | 分布式架构 | done | 28 |
| 02 | 一致性协议 | done | 31 |
| 03 | Paxos的工程实践 | done | 27 |
| 04 | ZooKeeper与Paxos | done | 25 |
| 05 | 使用ZooKeeper | done | 40 |
| 06 | 典型应用场景 | done | 51 |
| 07 | 技术内幕:系统模型与客户端 | done | 78 |
| 08 | ZooKeeper运维 | done | 20 |
| A | Windows部署 | done | 1 |
| B | 从源代码构建 | done | 1 |
| C | 历史重大版本更新 | done | 1 |
| D | 源码阅读指引 | done | 1 |
| spine项 | 类型 | 排除理由 |
|---|---|---|
| 0 | 封面 | 仅封面标识 |
| 1 | 空白页 | 仅“未知”标题,无正文 |
| 2 | 版权页 | 出版信息已核验,无技术正文 |
| 3 | 内容简介 | 全书内容范围介绍,无新增技术解释 |
| 术语名 | 出现章节 | 一句话语境 |
|---|---|---|
| 去IOE | 01 | 架构演化背景,未据此扩写当前公司技术格局。 |
| DNS | 01 | 网络通信依赖示例。 |
| 标题 | 类型(书/论文/框架/源码项目) | 出现章节 | 一句话语境 |
|---|---|---|---|
| 深入理解计算机系统 | 书 | 00 | 并发定义的出处,未对该书作完整介绍。 |
| 分布式系统概念与设计 | 书 | 01 | 消息通信协调的定义出处。 |
| Time, Clocks, and the Ordering of Events in a Distributed System | 论文 | 01 | 全局时钟与事件顺序的延伸阅读。 |
| Paxos Made Simple | 论文 | 02 | 单值共识的承诺、接受与安全继承;不等同整个ZAB实现。 |
| Chubby | 源码项目 | 03 | 锁、会话、序列器及复制服务的工程案例;未声称开源实现可完整获取。 |
| Apache ZooKeeper | 源码项目 | 04–08/D | ZAB、请求、存储、选举与运维的历史3.4.6实现。 |
| Apache Curator | 框架 | 05 | API与recipes封装,个别语义以固定2.4.2源码澄清。 |
| Hadoop/YARN、HBase、Kafka | 框架 | 06 | 原书时代的大型系统协调案例,明确历史架构范围。 |
| Dubbo、Canal、Otter、JStorm | 框架 | 06 | 注册、同步、调度与状态协调案例。 |
| BASE: An Acid Alternative | 论文 | 01 | BASE思路的延伸参考,原书给出介绍。 |
| Eventually Consistent-Revisited | 论文 | 01 | 最终一致性条件及变体的引用来源。 |
| 问题标题 | 问题卡 | 解决方案卡(如有) | 出现章节 | 一句话说明 |
|---|---|---|---|---|
| 最后一票重复出售 | 最后一票重复出售 | 未展开具体协议 | 00 | 多入口对有限资源作不相容成功承诺。 |
| 跨银行部分成功 | 跨银行部分成功损失资金 | 失败转账恢复已扣款 | 01 | 已取款而目标存款失败,恢复目标不是已实现可靠补偿。 |
| 序号 | 实践标题 | 实践方式 | 状态(pending/done) | 关联章节 | 产出 |
|---|
| 001 | 读懂选举中的两种周期 | 实现深读 | done | 07/D | 官方固定源码入口、初步映射和两层阅读计划;后续未执行 | | 002 | 批次写入的故障边界 | 真实任务 | done | 03 | 4场景桌面推演与恢复清单计划;未执行 |
实践候选筛选:done(已筛选完毕)
采用选举实现深读与当前写入任务两个不同目标;协议横向比较与缓存/锁实验同前者重叠,历史部署缺少当前真实使用需求,暂不另成卡。轻量模式不执行生成后的复核、独立审查及优化。
从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。
主题索引
比较 GFS、HDFS、BigTable、MongoDB、RabbitMQ 等系统的租约、写确认、副本同步、选主与脑裂处理。
主题索引
比较主备、主从、集群、分区与异地多活等高可用架构的适用范围、数据同步与代价。
主题索引
时序模型与拉推采集、黄金指标与分位、探针与 APM、容量与负载、监控分层。
主题索引
比较分布式共识、领导者选举、副本数量与一致性模型的可靠性取舍。
主题索引
比较单元测试、变异、模糊测试、静态分析与故障注入各自能证明什么。
主题索引
比较缓存穿透、雪崩、热点等问题的成因与应对方案。
主题索引
比较冗余容量、故障域、逻辑与物理资源解耦等容量规划与调度方法。
主题索引
比较内部与外部一致性、XA/2PC/3PC、CAP 与 BASE,以及可靠事件队列、TCC、SAGA、AT 等柔性事务方案。
主题索引
比较分库分片主键选择、分布式数据库选型与跨库关联查询的解法。
主题索引
比较服务发现范式、注册中心的 CAP 取舍与实现路线、网关与 BFF,以及地域与区域的流量边界。
主题索引
比较 HTTP 认证方案、OAuth2 与 JWT、会话状态,以及摘要、加密、签名、证书与 TLS 的密码学基础。
主题索引
流水线的资源模型、任务隔离与显式依赖、定义与运行分离、事件触发,以及构建/发布/运行分离和配置外置如何让同一制品安全跨环境交付。
主题索引
比较进程/线程并发模型、I/O 多路复用、Reactor 与 Proactor 等单机高性能设计。
主题索引
比较备份独立性、恢复可验证性与恢复阶段的设计要点。
主题索引
比较分层、洋葱与六边形架构如何隔离核心业务逻辑与外部技术细节,以及各层职责与调用规则。
主题索引
比较顺序一致性、线性一致性、外部一致性等一致性模型,以及 CAP、弱 CAP、HAT、PACELC 对系统取舍的刻画。
主题索引
比较最小权限、多方审批、紧急绕过与访问审计的设计取舍。
主题索引
比较采样剖析、火焰图、执行追踪与调用栈诊断的使用方法和解读边界。
主题索引
比较负载均衡的分层组合方式与各类分配算法的取舍。
主题索引
比较数据交换格式的简洁性、互通性与安全解析要求。
主题索引
比较服务组合中接口与协议失配的分类、适配器的生成与合成方式,以及兼容性分层与组合验证。
主题索引
跨进程互斥的分布式锁实现与取舍,以及全局唯一 ID 的生成方案和分布式计数。
主题索引
三支柱的关系与成本、自建与采购、成熟度演进、组织文化与工具化落地。
主题索引
比较故障与失效、部分失效、网络与超时的不确定性、时钟漂移与进程暂停,以及系统模型如何界定这些假设。
主题索引
ACID 各自的边界,脏读、不可重复读、幻读与写偏斜分别由什么机制挡住:两阶段锁与意向锁、MVCC 快照与可见性判断、可串行化快照隔离的冲突检测,以及死锁成因、锁粒度与长事务的代价。
主题索引
比较布隆过滤器、跳表、LSM 树、Merkle 树、Cuckoo 哈希等在存储系统中以空间或精度换效率的数据结构。
主题索引
比较至少一次、最多一次、恰好一次与幂等的组合,确认、重投、死信与补偿怎样把「不丢不重」落成可实现的条件。
主题索引
比较配置外置到版本仓库、启动配置与业务配置的分离、按应用与环境匹配资源、敏感配置加密、配置服务高可用与消息总线动态刷新的做法与取舍。
主题索引
比较交换器与绑定、主题与标签过滤、订阅与广播扇出,以及 vhost、联邦与协议网关等多租户和跨集群寻址方式。
主题索引
异步 RPC 的收发分离、请求标识关联响应、受理与业务完成的区别,业务线程与 IO 线程的边界,异步是否真的省掉等待,以及上下文在异步边界上的传递与丢失。
主题索引
何时才需要分布、远程接口为何要粗粒度,以及远程外观、数据传输对象与序列化格式的设计。
主题索引
预写日志与 redo/undo 的分工,检查点与日志截断,崩溃恢复的重做与回滚阶段,以及不同存储引擎在提交、刷盘与恢复时间上的取舍。
主题索引
有状态与无状态会话的取舍,以及会话状态存放在客户端、服务器或数据库的代价与清理。
主题索引
业务事务比系统事务长得多,中间隔着用户思考时间:乐观离线锁与悲观离线锁怎么选、粗粒度锁与隐含锁的代价、版本号与条件更新怎样防止覆盖、预留与冻结怎样替代事后校验,以及离线并发为什么能免则免。
主题索引
比较远程方法调用中代理、消息定界、编解码与传输分层,以及泛化调用如何复用框架链路。
主题索引
比较远程调用在不同失败语义下的重试条件、幂等边界、总期限与目标节点选择。
主题索引
组件依赖由谁提供:硬编码依赖、依赖注入、服务定位器与 DI 容器的解耦程度、可测试性与可读性取舍,以及异步初始化依赖和插件获取宿主服务的方式。
主题索引
告警规则与路由、SLO 与错误预算、告警疲劳,以及怎样让告警对应可行动的响应。
主题索引
消费到哪:位移为什么要持久化、提交的是下一位、同步与异步提交的取舍、重置与回溯、位移保留与清理、滞后量怎么算。
主题索引
比较键、约束规则与基表/视图更新语义在保证数据正确性上的作用。
主题索引
比较多租户系统在数据隔离(共享表、分表、分库)、元数据定制与成熟度演进上的取舍。
主题索引
谁在消费:消费组与队列的区别、竞争消费者、分区分配策略、再均衡的四阶段与代价、并行度受分区数约束。
主题索引
比较组件失效时选择开放、关闭或停滞的依据与被利用风险。
主题索引
比较扫描、时间槽与分层时钟轮的调度成本,及截止时间校验和周期任务重排的边界。
主题索引
比较从源代码等低层信息恢复实际架构、识别所用架构模式的技术路线及其精度与自动化局限。