来源书籍

大规模分布式系统架构与设计实战 (大数据技术丛书)

Skill 版本:未记录版本 工程实践(高浓度 + 低稳定性) 33 张卡片

尚未生成整书笔记。

章节与卡片

02 分布式并行计算的原理与实践

9 张卡片
  1. 调度应少背职责 理解等级:未标注 普通读书笔记卡
  2. 仓库隔离数据交换 理解等级:未标注 普通读书笔记卡
  3. 消息中枢有边界 理解等级:未标注 普通读书笔记卡
  4. 网状交互利于合并 理解等级:未标注 普通读书笔记卡
  5. 计算要切成流程 理解等级:未标注 普通读书笔记卡
  6. 组合优于总控 理解等级:未标注 普通读书笔记卡
  7. 容错分层处理 理解等级:未标注 普通读书笔记卡
  8. 排序先分类合并 理解等级:未标注 普通读书笔记卡
  9. 流计算是拓扑 理解等级:未标注 普通读书笔记卡

03 分布式协调的实现

6 张卡片
  1. 协调信息应外置 理解等级:未标注 普通读书笔记卡
  2. 最新值优于盲回调 理解等级:未标注 普通读书笔记卡
  3. 权限要防间接越权 理解等级:未标注 普通读书笔记卡
  4. 多数派是可用性取舍 理解等级:未标注 普通读书笔记卡
  5. 锁把并发变队列 理解等级:未标注 普通读书笔记卡
  6. 心跳节点表达存活 理解等级:未标注 普通读书笔记卡

04 分布式缓存的实现

6 张卡片
  1. 门面拆散缓存压力 理解等级:未标注 普通读书笔记卡
  2. 一致哈希降迁移 理解等级:未标注 普通读书笔记卡
  3. 扩容路由需版本 理解等级:未标注 普通读书笔记卡
  4. 粗细时间防冲突 理解等级:未标注 普通读书笔记卡
  5. Session是缓存应用 理解等级:未标注 普通读书笔记卡
  6. 容量保护防崩溃 理解等级:未标注 普通读书笔记卡

05 消息队列的实现

3 张卡片
  1. MQ隔离传输细节 理解等级:未标注 普通读书笔记卡
  2. 队列保证单消费者 理解等级:未标注 普通读书笔记卡
  3. 主题面向多订阅 理解等级:未标注 普通读书笔记卡

06 分布式文件系统的实现

5 张卡片
  1. 少建集中元数据 理解等级:未标注 普通读书笔记卡
  2. 远程文件本地化 理解等级:未标注 普通读书笔记卡
  3. 并行IO需独立句柄 理解等级:未标注 普通读书笔记卡
  4. 批量IO要有补偿 理解等级:未标注 普通读书笔记卡
  5. 外部排序靠分桶 理解等级:未标注 普通读书笔记卡

07 分布式作业调度平台的实现

4 张卡片
  1. 调度分任务和资源 理解等级:未标注 普通读书笔记卡
  2. 调度器也要主备 理解等级:未标注 普通读书笔记卡
  3. 隔离与控制不同 理解等级:未标注 普通读书笔记卡
  4. 公平调度不等于平均 理解等级:未标注 普通读书笔记卡

全书概览

《大规模分布式系统架构与设计实战 (大数据技术丛书)》读书笔记总览

阶段一:整体评级

四象限结论:工程实践(高浓度 + 低稳定性)

评级理由:本书围绕 Fourinone 展开,讨论分布式并行计算、协调、缓存、消息队列、文件系统和作业调度的实现方案。第2章对 master-slave 的职责过载、消息中枢与网状直接通信、链式并行流程、故障分层处理等有明确设计取舍;第3章围绕协调节点、事件监听、权限、Paxos 和分布式锁提炼机制;第4章讨论一致性哈希、日期 key 取模和分布式 Session 的扩容设计;第7章把任务队列、资源池、调度器、执行器和资源隔离组合成调度平台。这些内容信息浓度较高。

稳定性偏低的原因是,书中大量实现、API、配置和产品对比绑定 Fourinone 1.x 及 2014 年前后的 Hadoop、Storm、Spark、Mesos、Yarn 生态,许多实践细节随技术栈演进已经过时;但其背后的分布式设计权衡仍有迁移价值,因此不归入“速查手册”,而归为“工程实践”。

阶段二:章节筛选

  • 第1章《概述》:略读。主要是分布式/云计算/Hadoop 生态背景和 Fourinone 来历,概念扫盲价值高于卡片价值。
  • 第2章《分布式并行计算的原理与实践》:精读。集中讨论并行计算结构、通信模式、容错、数据拆分与流式拓扑,是全书信息密度最高的部分。
  • 第3章《分布式协调的实现》:精读。涉及协调服务、节点模型、事件监听、权限、分布式锁和选主,具备较强迁移价值。
  • 第4章《分布式缓存的实现》:精读。围绕缓存扩容、路由、一致性哈希替代方案和分布式 Session 展开,权衡清晰。
  • 第5章《消息队列的实现》:精读。章节短,但对队列模式与主题订阅模式的抽象可复用。
  • 第6章《分布式文件系统的实现》:精读。API 操作较多,但元数据设计、并行 IO、事务补偿和外部排序思路值得制卡。
  • 第7章《分布式作业调度平台的实现》:精读。将前面组件组合为调度平台,讨论资源池、隔离与公平调度,专业价值明确。

章节进度追踪表

章节号 章节标题 精读/略读 状态(pending/done) 卡片数
1 概述 略读 done 0
2 分布式并行计算的原理与实践 精读 done 9
3 分布式协调的实现 精读 done 6
4 分布式缓存的实现 精读 done 6
5 消息队列的实现 精读 done 3
6 分布式文件系统的实现 精读 done 5
7 分布式作业调度平台的实现 精读 done 4

阶段三:卡片生成记录

  • 精读章节:6 章
  • 略读章节:1 章
  • 卡片总数:33 张
  • 卡片目录:notes/大规模分布式系统架构与设计实战 (大数据技术丛书)/cards/

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

主题索引

分布式存储与复制

比较 GFS、HDFS、BigTable、MongoDB、RabbitMQ 等系统的租约、写确认、副本同步、选主与脑裂处理。

501 张卡片 · 64 本书

主题索引

高可用与异地多活架构

比较主备、主从、集群、分区与异地多活等高可用架构的适用范围、数据同步与代价。

398 张卡片 · 79 本书

主题索引

过载保护与优雅降级

比较限流、减载、退避重试、分级依赖与防御成本的过载应对手段。

386 张卡片 · 68 本书

主题索引

分布式共识与领导者选举

比较分布式共识、领导者选举、副本数量与一致性模型的可靠性取舍。

376 张卡片 · 41 本书

主题索引

缓存架构与失效问题

比较缓存穿透、雪崩、热点等问题的成因与应对方案。

345 张卡片 · 58 本书

主题索引

容量规划与资源调度

比较冗余容量、故障域、逻辑与物理资源解耦等容量规划与调度方法。

344 张卡片 · 74 本书

主题索引

分布式事务与一致性

比较内部与外部一致性、XA/2PC/3PC、CAP 与 BASE,以及可靠事件队列、TCC、SAGA、AT 等柔性事务方案。

308 张卡片 · 61 本书

主题索引

大数据计算范式

比较批处理、流式、交互式查询、图计算、分布式机器学习与增量计算的计算模型与取舍。

298 张卡片 · 32 本书

主题索引

服务发现与网关

比较服务发现范式、注册中心的 CAP 取舍与实现路线、网关与 BFF,以及地域与区域的流量边界。

286 张卡片 · 70 本书

主题索引

并发任务与同步原语

比较线程/任务抽象、异步结果传递、原子与同步手段的语义差异和生命周期约束。

215 张卡片 · 41 本书

主题索引

最小特权与访问控制

比较最小权限、多方审批、紧急绕过与访问审计的设计取舍。

175 张卡片 · 72 本书

主题索引

数据交换格式设计

比较数据交换格式的简洁性、互通性与安全解析要求。

146 张卡片 · 38 本书

主题索引

服务适配与兼容性

比较服务组合中接口与协议失配的分类、适配器的生成与合成方式,以及兼容性分层与组合验证。

146 张卡片 · 38 本书

主题索引

分布式锁与全局ID

跨进程互斥的分布式锁实现与取舍,以及全局唯一 ID 的生成方案和分布式计数。

140 张卡片 · 27 本书

主题索引

组件聚合与耦合原则

比较 REP、CCP、CRP 的组件聚合张力,以及无依赖环、稳定依赖、稳定抽象原则与 I/A 指标对组件耦合的度量。

127 张卡片 · 31 本书

主题索引

线程与任务抽象

线程的创建、状态、join/sleep/中断与收束,任务抽象为什么高于线程,线程池与 ForkJoin 的并行度与工作窃取,守护线程、ThreadLocal 与线程私有栈在什么条件下成立,以及并发结构怎样划分执行与状态;Actor/角色把状态隔离到单一线程、用 Inbox 串行收消息,是这条线的另一种解法。

112 张卡片 · 27 本书

主题索引

流处理模型与语义:拓扑、分组与时间

把流当成持续计算来看:拓扑与算子、无界与有界的区别、分组与重分区、键与时间的语义、CEP 与关联操作,以及批流合一与 Lambda/Kappa 的取舍。

105 张卡片 · 25 本书

主题索引

配置中心与配置治理

比较配置外置到版本仓库、启动配置与业务配置的分离、按应用与环境匹配资源、敏感配置加密、配置服务高可用与消息总线动态刷新的做法与取舍。

99 张卡片 · 29 本书

主题索引

路由、订阅与寻址

比较交换器与绑定、主题与标签过滤、订阅与广播扇出,以及 vhost、联邦与协议网关等多租户和跨集群寻址方式。

97 张卡片 · 38 本书

主题索引

RPC框架调用链与机制

比较远程方法调用中代理、消息定界、编解码与传输分层,以及泛化调用如何复用框架链路。

70 张卡片 · 15 本书

主题索引

错误与异常处理机制

比较延迟执行、异常展开、恢复与返回值错误等机制的语义边界。

62 张卡片 · 27 本书

主题索引

批处理作业的写法:连接、聚合与作业抽象

同一批数据要算成什么:分组与归约怎样切、连接在 Map 侧还是 Reduce 侧做、排序与抽样怎样只走一遍、作业图怎样抽象成可复用的片段(管道图、宏、组合聚合),以及这些写法的代价与边界。

57 张卡片 · 8 本书

主题索引

形态与交互:通道、总线还是代理

消息系统的形态与连接方式:通道、消息总线、代理还是对等、请求-回复与关联号、协议与序列化契约、中间件选型指标。

55 张卡片 · 29 本书

主题索引

继承、原型与组合复用

比较类继承、原型继承、函数化构造与组合在代码复用上的取舍。

50 张卡片 · 18 本书