来源书籍

大数据日知录_架构与算法

分布式系统类

经典原理（高信息浓度 + 高稳定性）

类别清单覆盖

7/7

已覆盖 4 补充生成 3 未覆盖 0

全书概览

大数据日知录_架构与算法

全书评级

四象限结论：经典原理（高信息浓度 + 高稳定性）

评级理由： 这本书虽然出版于 2014 年，引用了 Hadoop、YARN、Mesos、BigTable、GFS、Dremel、Pregel、Percolator 等当时典型系统，但主要目的不是讲某个产品版本的操作方法，而是把大数据系统背后的架构约束拆开讲：数据为什么要分片、复制为什么会引入一致性问题、CAP 不能被粗粒度套用、调度器为什么会在集中式/两级/共享状态之间取舍、LSM/Bloom Filter/列式存储/MapReduce/DAG/流式计算各自解决什么根本矛盾。这些内容即使具体系统迭代，仍然能迁移到今天的分布式数据库、数据湖、实时计算、图计算和机器学习平台设计中。

低稳定性的部分主要集中在具体系统名称、产品现状和早期生态判断上，例如 Chukwa、Scribe、早期 Shark/Stinger、某些 Hadoop 周边系统已不再是主流；但这些章节中的价值点仍在于模式抽象，而不是工具清单。因此全书整体落在“经典原理”，章节处理上会对偏罗列和偏产品介绍的内容降级为略读。

章节筛选理由

章节号 章节标题 精读/略读 理由
0 当谈论大数据时我们在谈什么 略读 主要是背景、商业案例和技术版图铺垫，概念价值高但卡片密度有限。
1 数据分片与路由 精读 分片抽象模型、虚拟桶、一致性哈希与范围分片都是分布式存储的核心原理。
2 数据复制与一致性 精读 CAP/ACID/BASE、一致性模型和 Paxos/Raft 是跨系统复用的基础架构知识。
3 大数据常用的算法与数据结构 精读 Bloom Filter、SkipList、LSM 树是数据库与存储引擎的底层构件。
4 集群资源管理与调度 精读 调度架构、资源隔离、公平性和局部性权衡直接影响分布式平台设计。
5 分布式协调系统 精读 Chubby 与 ZooKeeper 抽象出锁、会话、元数据和协调服务的通用模式。
6 分布式通信 略读 以序列化、RPC、消息队列和 Kafka 案例为主，部分稳定原理可被其他章节覆盖。
7 数据通道 略读 Chukwa、Scribe、Databus、Wormhole 等系统介绍偏生态与案例，时效性较强。
8 分布式文件系统 精读 GFS/HDFS、主控元数据、存储布局和纠删码体现了海量存储的关键取舍。
9 内存KV数据库 精读 RAMCloud 与 Redis 连接了低延迟、内存化、恢复和持久化的架构问题。
10 列式数据库 精读 BigTable、PNUTS、MegaStore、Spanner 展示了可扩展存储到事务一致性的演进。
11 大规模批处理系统 精读 MapReduce 与 DAG 模型揭示了批处理计算的抽象边界和演进方向。
12 流式计算 精读 流式拓扑、消息传递、容错和事务语义是实时计算系统的核心。
13 交互式数据分析 精读 Hive/Shark/Dremel/Presto 体现了数据仓库从离线批处理走向交互式查询的路径。
14 图数据库：架构与算法 精读 图分片、BSP/GAS、Pregel/PowerGraph 等内容有很高的算法与架构迁移价值。
15 机器学习：范型与架构 精读 分布式机器学习的计算范型、参数服务器和图计算框架仍是理解训练架构的基础。
16 机器学习：分布式算法 精读 并行优化、树模型、文档相似性等算法把数据分片与计算通信成本联系起来。
17 增量计算 精读 变化传播与结果缓存复用是降低重复计算的通用设计框架。
附录A 硬件体系结构及常用性能指标 略读 作为性能背景资料有用，但主要是指标性知识，不适合作为本轮卡片重点。
附录B 大数据必读文献 略读 属于参考文献导览，适合后续选书，不生成概念卡。

章节进度追踪

章节号 章节标题 精读/略读 状态(pending/done) 卡片数
0 当谈论大数据时我们在谈什么 略读 done 0
1 数据分片与路由 精读 done 4
2 数据复制与一致性 精读 done 10
3 大数据常用的算法与数据结构 精读 done 6
4 集群资源管理与调度 精读 done 5
5 分布式协调系统 精读 done 4
6 分布式通信 略读 done 0
7 数据通道 略读 done 0
8 分布式文件系统 精读 done 6
9 内存KV数据库 精读 done 3
10 列式数据库 精读 done 6
11 大规模批处理系统 精读 done 4
12 流式计算 精读 done 4
13 交互式数据分析 精读 done 4
14 图数据库：架构与算法 精读 done 6
15 机器学习：范型与架构 精读 done 5
16 机器学习：分布式算法 精读 done 5
17 增量计算 精读 done 4
附录A 硬件体系结构及常用性能指标 略读 done 0
附录B 大数据必读文献 略读 done 0

类别：分布式系统类（.claude/skills/book-notes/category-checklists.md判定标准：以讲解分布式系统的一致性、协调与容错原理为主要目标的书籍——本书完全符合）。

类别清单核对（分布式系统类）

维度 覆盖状态 关联卡片标题或未覆盖理由
一致性模型 已覆盖 [[一致性谱系]]、[[BASE的代价]]、[[ACID与CAP的C]]
共识算法（Paxos/Raft） 补充生成 [[Paxos两阶段选值]]、[[Raft用任期简化]]（原书2.4.4⁄2.4.5节有完整讲解但历史生成时漏卡，本次S2复核补齐）
容错假设（故障模型） 补充生成 [[2PC阻塞态脆弱]]（协调者/参与者崩溃导致阻塞的故障模型讨论）；本书对拜占庭模型仅作为Paxos前提简要提及，未展开讲解，不强行补卡
时钟与顺序问题 补充生成 [[向量时钟判因果]]（原书2.4.2节有完整讲解但历史生成时漏卡，本次S2复核补齐）；[[TrueTime换顺序]]（物理时钟）
分区处理策略（CAP权衡） 已覆盖 [[CAP细粒度化]]
复制与数据分布 已覆盖 [[二级映射分片]]、[[虚拟桶解耦]]、[[一致哈希迁移]]、[[范围分片取舍]]
幂等与重试设计 已覆盖 [[幂等吸收重试]]

章节与卡片

01 数据分片与路由

  1. 二级映射分片 普通读书笔记卡
  2. 虚拟桶解耦 普通读书笔记卡
  3. 一致哈希迁移 普通读书笔记卡
  4. 范围分片取舍 普通读书笔记卡

02 数据复制与一致性

  1. CAP细粒度化 普通读书笔记卡
  2. BASE的代价 普通读书笔记卡
  3. ACID与CAP的C 普通读书笔记卡
  4. 幂等吸收重试 普通读书笔记卡
  5. 一致性谱系 普通读书笔记卡
  6. 仲裁读写权衡 普通读书笔记卡
  7. 向量时钟判因果 普通读书笔记卡
  8. 2PC阻塞态脆弱 普通读书笔记卡
  9. Paxos两阶段选值 普通读书笔记卡
  10. Raft用任期简化 普通读书笔记卡

03 大数据常用的算法与数据结构

  1. 布隆过滤器 普通读书笔记卡
  2. SkipList随机索引 普通读书笔记卡
  3. LSM写读取舍 普通读书笔记卡
  4. Merkle定位差异 普通读书笔记卡
  5. 压缩换传输 普通读书笔记卡
  6. Cuckoo驱逐冲突 普通读书笔记卡

04 集群资源管理与调度

  1. 静态切分浪费 普通读书笔记卡
  2. 调度约束集合 普通读书笔记卡
  3. 三类调度范型 普通读书笔记卡
  4. 延迟调度价值 普通读书笔记卡
  5. DRF公平尺度 普通读书笔记卡

05 分布式协调系统

  1. 协调系统定位 普通读书笔记卡
  2. 粗粒度锁服务 普通读书笔记卡
  3. 会话租约语义 普通读书笔记卡
  4. Watch通知边界 普通读书笔记卡

08 分布式文件系统

  1. 按负载设计FS 普通读书笔记卡
  2. 主控元数据瓶颈 普通读书笔记卡
  3. Blob元数据进内存 普通读书笔记卡
  4. 列式布局省IO 普通读书笔记卡
  5. 混合布局折中 普通读书笔记卡
  6. 纠删码冷数据 普通读书笔记卡

09 内存KV数据库

  1. 内存库成本悖论 普通读书笔记卡
  2. RAMCloud恢复 普通读书笔记卡
  3. Redis主从边界 普通读书笔记卡

10 列式数据库

  1. BigTable三维表 普通读书笔记卡
  2. 三级定位元数据 普通读书笔记卡
  3. Tablet写路径 普通读书笔记卡
  4. PNUTS时间轴 普通读书笔记卡
  5. 实体组事务 普通读书笔记卡
  6. TrueTime换顺序 普通读书笔记卡

11 大规模批处理系统

  1. MapReduce边界 普通读书笔记卡
  2. Shuffle是成本中心 普通读书笔记卡
  3. 模式复用MR 普通读书笔记卡
  4. DAG突破两阶段 普通读书笔记卡

12 流式计算

  1. 流式常驻计算 普通读书笔记卡
  2. 拓扑即数据流 普通读书笔记卡
  3. 消息语义分层 普通读书笔记卡
  4. 批流边界模糊 普通读书笔记卡
  5. 微批模拟流式 普通读书笔记卡

13 交互式数据分析

  1. Hive以SQL换MR 普通读书笔记卡
  2. 内存DAG提速 普通读书笔记卡
  3. Dremel树形聚合 普通读书笔记卡
  4. MPP交互查询 普通读书笔记卡

14 图数据库：架构与算法

  1. 图数据强耦合 普通读书笔记卡
  2. 切边切点权衡 普通读书笔记卡
  3. 节点中心编程 普通读书笔记卡
  4. BSP超级步 普通读书笔记卡
  5. GAS拆开节点 普通读书笔记卡
  6. 同步异步取舍 普通读书笔记卡

15 机器学习：范型与架构

  1. 分布式ML瓶颈 普通读书笔记卡
  2. 三种同步范型 普通读书笔记卡
  3. 数据模型并行 普通读书笔记卡
  4. 参数服务器 普通读书笔记卡
  5. RDD支撑迭代 普通读书笔记卡

16 机器学习：分布式算法

  1. CTR稀疏学习 普通读书笔记卡
  2. 矩阵分解并行 普通读书笔记卡
  3. 倒排算相似 普通读书笔记卡
  4. 学习排序并行 普通读书笔记卡
  5. 深度模型并行 普通读书笔记卡

17 增量计算

  1. 增量计算目标 普通读书笔记卡
  2. 变化传播模式 普通读书笔记卡
  3. 结果缓存复用 普通读书笔记卡
  4. Percolator机制 普通读书笔记卡

相关主题

暂无公开主题。