主题索引
分布式存储与复制
比较 GFS、HDFS、BigTable、MongoDB、RabbitMQ 等系统的租约、写确认、副本同步、选主与脑裂处理。
来源书籍
本书从 Hadoop Common 与 HDFS 源码出发,重点解释配置系统、Writable 序列化、压缩框架、IPC、FileSystem 抽象、DataNode、NameNode 和 DFSClient 的设计与实现,信息浓度较高,尤其第4章的 RPC/NIO/动态代理链路、第7-9章的块存储、元数据、租约、读写管道等内容都在回答“为什么这样组织一个分布式文件系统”。但它强绑定早期 Hadoop 版本的类名、配置项、目录结构和源码实现细节,部分 API 与实现已经随 Hadoop 演进变化,因此稳定性低于纯分布式系统原理书。适合作为理解 Hadoop/HDFS 架构设计的工程源码读本,而不是长期不变的通用理论教材。
7/7
Skill 版本:未记录(历史版本,保留)
类别:分布式存储系统类
本次实际使用规则:book-notes v8(2026-09-25 v8 升级:41 张卡补齐逐字原文证据并统一分类;按旧审查报告修正 P0“写管道应答”的持久化误述,修订主从元数据、sync 语义、租约恢复、配置、序列化、镜像日志等卡,新增“写管道故障恢复”“安全模式只读”“文件系统实例缓存” 3 张卡,4 个标题改短并重命名;新增 2 张实践卡;补类别清单与主题索引维护),详见 _workflow.md。
四象限结论:工程实践(高浓度 + 低稳定性)
理由:本书从 Hadoop Common 与 HDFS 源码出发,重点解释配置系统、Writable 序列化、压缩框架、IPC、FileSystem 抽象、DataNode、NameNode 和 DFSClient 的设计与实现,信息浓度较高,尤其第4章的 RPC/NIO/动态代理链路、第7-9章的块存储、元数据、租约、读写管道等内容都在回答“为什么这样组织一个分布式文件系统”。但它强绑定早期 Hadoop 版本的类名、配置项、目录结构和源码实现细节,部分 API 与实现已经随 Hadoop 演进变化,因此稳定性低于纯分布式系统原理书。适合作为理解 Hadoop/HDFS 架构设计的工程源码读本,而不是长期不变的通用理论教材。
第1章主要是环境准备和背景介绍,略读;第2-5章是 Common 的核心机制,第6-9章是 HDFS 的控制面、数据面和客户端流程,全部精读。
| 章节号 | 章节标题 | 精读/略读 | 状态 | 卡片数 | 理由 |
|---|---|---|---|---|---|
| 1 | 源代码环境准备 | 略读 | done | 0 | 主要是 Hadoop 背景、源码获取和阅读环境搭建,操作性强,原理密度较低。 |
| 2 | Hadoop配置信息处理 | 精读 | done | 3 | Configuration 的资源加载、变量替换和 Configurable 接口体现了大型框架配置系统的设计取舍。 |
| 3 | 序列化与压缩 | 精读 | done | 5 | Writable、ObjectWritable、CompressionCodec 等机制集中体现了面向海量数据的 I/O 约束。 |
| 4 | Hadoop远程过程调用 | 精读 | done | 6 | 从 RPC、动态代理、NIO 到 Hadoop IPC,完整呈现分布式访问透明性的实现链路。 |
| 5 | Hadoop文件系统 | 精读 | done | 5 | 从传统文件系统、VFS、NFS 到 Hadoop FileSystem 抽象,适合建立文件系统设计知识骨架。 |
| 6 | HDFS概述 | 精读 | done | 5 | HDFS 的目标、角色、接口与主流程构成后续源码理解的总图。 |
| 7 | 数据节点实现 | 精读 | done | 6 | DataNode 的块状态、流式接口、心跳和校验机制是 HDFS 可靠数据面的核心。 |
| 8 | 名字节点实现 | 精读 | done | 8 | NameNode 的命名空间、编辑日志、块副本管理和租约恢复是全书信息密度最高部分。 |
| 9 | HDFS客户端 | 精读 | done | 6 | DFSClient 把 NameNode 与 DataNode 协作封装成读写流,能串起 HDFS 端到端机制。 |
| 序号 | 实践标题 | 实践方式 | 状态 | 关联章节 | 产出 |
|---|---|---|---|---|---|
| 1 | 对照现代DataStreamer读管道恢复 | 实现深读 | done | 第9章 | 当前管道恢复链路与对照表(计划) |
| 2 | 核验sync与hflush/hsync的演化 | 证据验证 | done | 第9章 | sync/hflush/hsync 对照表(计划) |
候选筛选:搭建 Hadoop 1.0 集群复现源码行为成本过高,未生成。done 只表示实践计划已成卡,实际未执行。
| 维度 | 覆盖状态 | 关联卡片标题或未覆盖理由 |
|---|---|---|
| 存储接口、对象模型与命名空间 | 已覆盖 | [[文件系统双视角]]、[[VFS抽象价值]]、[[INode内存化]]、[[文件系统实例缓存]] |
| 数据放置、分片与负载均衡 | 已覆盖 | [[块是分布单位]]、[[机架感知复制]]、[[读路径定位]] |
| 复制、纠删码与一致性 | 已覆盖 | [[写管道应答]]、[[副本状态机]]、[[租约保护写入]]、[[sync语义边界]];本书未涉及纠删码 |
| 元数据、控制面与故障恢复 | 已覆盖 | [[主从元数据模型]]、[[镜像日志互补]]、[[检查点非备份]]、[[安全模式只读]]、[[写管道故障恢复]] |
| 读写路径、缓存与性能 | 已覆盖 | [[零拷贝读]]、[[写入数据包化]]、[[IPC三段式分工]]、[[压缩位置选择]] |
| 异构硬件、容量与成本取舍 | 已覆盖 | [[心跳承载控制]]、[[HDFS适用边界]] |
| 运维、可观测性与版本演化 | 已覆盖 | [[协议版本防护]]、[[资源加载顺序]]、[[块扫描防腐化]] |
核对结论:7/7 维度有原文支撑的知识卡;纠删码等现代特性不在本书范围。
本书剖析 Hadoop Common 与 HDFS(Hadoop 1.0)源码;44 张卡全部复用既有主题,未新建主题。
| 卡片标题 | 结论 | 主题文件或原因 |
|---|---|---|
| 配置即持久契约 | 已复用 | notes/_topics/extensible-application-architecture.md |
| 资源加载顺序 | 已复用 | notes/_topics/extensible-application-architecture.md |
| Configurable接口 | 已复用 | notes/_topics/extensible-application-architecture.md |
| Writable取舍 | 已复用 | notes/_topics/data-interchange-formats.md |
| 序列化三用途 | 已复用 | notes/_topics/data-interchange-formats.md |
| 传递多态对象 | 已复用 | notes/_topics/data-interchange-formats.md |
| 压缩位置选择 | 已复用 | notes/_topics/text-compression-coding.md |
| Codec抽象 | 已复用 | notes/_topics/text-compression-coding.md |
| RPC透明性边界 | 已复用 | notes/_topics/rpc-rest-api.md |
| 动态代理入口 | 已复用 | notes/_topics/rpc-rest-api.md |
| NIO选择器模型 | 已复用 | notes/_topics/server-io-concurrency-models.md |
| Call对象生命周期 | 已复用 | notes/_topics/rpc-rest-api.md |
| IPC三段式分工 | 已复用 | notes/_topics/server-io-concurrency-models.md |
| 协议版本防护 | 已复用 | notes/_topics/rpc-rest-api.md |
| 文件系统双视角 | 已复用 | notes/_topics/storage-interface-protocols.md |
| VFS抽象价值 | 已复用 | notes/_topics/storage-interface-protocols.md |
| 输入流可定位 | 已复用 | notes/_topics/storage-interface-protocols.md |
| 校验文件系统 | 已复用 | notes/_topics/distributed-storage-replication.md |
| 文件系统实例缓存 | 已复用 | notes/_topics/storage-interface-protocols.md |
| HDFS适用边界 | 已复用 | notes/_topics/distributed-storage-replication.md |
| 主从元数据模型 | 已复用 | notes/_topics/distributed-storage-replication.md |
| 块是分布单位 | 已复用 | notes/_topics/distributed-storage-replication.md |
| 接口分层 | 已复用 | notes/_topics/distributed-storage-replication.md |
| 二级节点误解 | 已复用 | notes/_topics/transaction-recovery-logging.md |
| 块状态目录化 | 已复用 | notes/_topics/distributed-storage-replication.md |
| 提交才可见 | 已复用 | notes/_topics/distributed-storage-replication.md |
| 零拷贝读 | 已复用 | notes/_topics/server-io-concurrency-models.md |
| 写管道应答 | 已复用 | notes/_topics/distributed-storage-replication.md |
| 心跳承载控制 | 已复用 | notes/_topics/faults-partial-failure-clocks.md |
| 块扫描防腐化 | 已复用 | notes/_topics/distributed-storage-replication.md |
| INode内存化 | 已复用 | notes/_topics/transaction-recovery-logging.md |
| 两类核心关系 | 已复用 | notes/_topics/transaction-recovery-logging.md |
| 镜像日志互补 | 已复用 | notes/_topics/transaction-recovery-logging.md |
| 检查点非备份 | 已复用 | notes/_topics/transaction-recovery-logging.md |
| 副本状态机 | 已复用 | notes/_topics/distributed-storage-replication.md |
| 机架感知复制 | 已复用 | notes/_topics/distributed-storage-replication.md |
| 租约保护写入 | 已复用 | notes/_topics/distributed-storage-replication.md |
| 安全模式只读 | 已复用 | notes/_topics/high-availability-architecture.md |
| DFSClient门面 | 已复用 | notes/_topics/distributed-storage-replication.md |
| 读路径定位 | 已复用 | notes/_topics/distributed-storage-replication.md |
| 读失败重选 | 已复用 | notes/_topics/distributed-storage-replication.md |
| 写入数据包化 | 已复用 | notes/_topics/distributed-storage-replication.md |
| sync语义边界 | 已复用 | notes/_topics/distributed-storage-replication.md |
| 写管道故障恢复 | 已复用 | notes/_topics/distributed-storage-replication.md |
从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。
主题索引
比较 GFS、HDFS、BigTable、MongoDB、RabbitMQ 等系统的租约、写确认、副本同步、选主与脑裂处理。
主题索引
比较主备、主从、集群、分区与异地多活等高可用架构的适用范围、数据同步与代价。
主题索引
比较 RPC 要解决的基本问题与历代框架取舍,以及 REST 的资源抽象、统一接口、成熟度与局限。
主题索引
比较进程/线程并发模型、I/O 多路复用、Reactor 与 Proactor 等单机高性能设计。
主题索引
比较以数据模型、扩展点与插件为核心的应用架构,如何在开放扩展与稳定性、安全性之间取舍。
主题索引
比较数据交换格式的简洁性、互通性与安全解析要求。
主题索引
比较故障与失效、部分失效、网络与超时的不确定性、时钟漂移与进程暂停,以及系统模型如何界定这些假设。
主题索引
比较 Commit Logging、WAL、Shadow Paging 等保证原子性与持久性的日志与恢复机制。
主题索引
预写日志与 redo/undo 的分工,检查点与日志截断,崩溃恢复的重做与回滚阶段,以及不同存储引擎在提交、刷盘与恢复时间上的取舍。
主题索引
数据最终落在介质上:闪存的组织与 FTL、写放大与磨损,以及主机到盘的接口协议与电源状态。
主题索引
比较 PCIe 分层、TLP 事务与流控、NVMe 队列与寻址、NVMe over Fabrics,以及 SATA/PCIe/NVMe 的电源管理机制。
主题索引
比较以熵为下限的文本压缩方法:哈夫曼与算术编码、静态与自适应建模、PPM、块排序与LZ字典压缩,以及压缩与随机访问、解码速度的取舍。