主题索引
高可用与异地多活架构
比较主备、主从、集群、分区与异地多活等高可用架构的适用范围、数据同步与代价。
来源书籍
8/8
Skill 版本:未记录
类别:源码分享类
本次实际使用规则:book-notes v8(2026-09-27 P1→v8 批处理修订),详见 _workflow.md。
四象限结论:工程实践(高信息浓度 + 低稳定性)
评级理由:
信息浓度高:本书第2章从MRv1瓶颈、Spark内存计算、Stage和模块体系解释设计缘起;第3-5章围绕SparkConf、Netty RPC、事件总线、度量系统、SparkContext和SparkEnv展开源码级机制;第6-9章进一步深入BlockManager、统一内存、RDD血缘、DAGScheduler、TaskScheduler、Shuffle、Tungsten、Standalone和YARN部署流程。这些内容主要回答“为什么这样组织一个分布式计算框架”,而不是只罗列命令或API。
稳定性偏低:全书以Spark 2.1.0前后的具体源码为主要分析对象,章节中大量出现类名、方法名、配置项、部署脚本和当时的实现路径,例如Akka迁移到Netty RPC、UnifiedMemoryManager、Standalone Master/Worker、SparkSession Builder等。核心分布式计算思想仍有迁移价值,但具体实现会随Spark版本演进而变化,因此整体落在“工程实践”象限。
第1章主要是JDK、Scala、Spark、SBT、Git、Eclipse等环境准备和word count初体验,操作性强,略读;第2章建立Spark设计总图,精读;第3-5章是基础设施、SparkContext与SparkEnv,精读;第6-9章覆盖存储、调度、计算、部署,是全书核心,精读;第10章把API与前述执行链路串联,精读。
| 章节号 | 章节标题 | 精读/略读 | 状态 | 卡片数 |
|---|---|---|---|---|
| 前言/序 | 本书赞誉、前言、目录等 | 略读 | done | 0 |
| 1 | 环境准备 | 略读 | done | 0 |
| 2 | 设计理念与基本架构 | 精读 | done | 5 |
| 3 | Spark基础设施 | 精读 | done | 6 |
| 4 | SparkContext的初始化 | 精读 | done | 5 |
| 5 | Spark执行环境 | 精读 | done | 7 |
| 6 | 存储体系 | 精读 | done | 7 |
| 7 | 调度系统 | 精读 | done | 8 |
| 8 | 计算引擎 | 精读 | done | 7 |
| 9 | 部署模式 | 精读 | done | 6 |
| 10 | Spark API | 精读 | done | 5 |
| 附录 | 附录与外部博客对应说明 | 略读 | done | 0 |
| 序号 | 实践标题 | 实践方式 | 状态 | 关联章节 | 产出 |
|---|---|---|---|---|---|
| 1 | 缓存级别内存压力实验 | 最小实验 | done | 第6章 | 缓存级别 × 耗时/缓存比例结果表 |
| 2 | 用事件日志复盘Stage切分 | 最小实验 | done | 第4、7章 | 预测 vs 实际 Stage 差异表 |
未采用的候选:“搭建多 Master + ZooKeeper 验证切换”需要多节点环境且 Standalone 已非主流部署方式,按实践优先级不生成。
| 必答维度 | 覆盖状态 | 关联卡片标题或未覆盖理由 |
|---|---|---|
| 整体架构分层 | 已覆盖 | [[核心托住生态]]、[[Context屏蔽复杂性]]、[[Context启动枢纽]]、[[运行环境箱]] |
| 核心数据结构设计 | 已覆盖 | [[Shuffle位置账本]]、[[索引分离数据]]、[[存储内存池]]、[[Inbox串行消息]] |
| 关键算法/流程实现 | 已覆盖 | [[DAG按Shuffle切]]、[[任务调度分资源]]、[[本地性等待权衡]]、[[Action触发执行]] |
| 并发/线程安全处理 | 已覆盖 | [[Block锁读写]]、[[Inbox串行消息]]、[[配置克隆隔离]]、[[TaskContext现场]] |
| 扩展点与插件机制 | 已覆盖 | [[数据源可插拔]]、[[度量三元组]]、[[事件总线解耦]] |
| 性能优化手段 | 已覆盖 | [[RPC连接复用]]、[[Tungsten降开销]]、[[统一内存软界]]、[[窄依赖可流水线]] |
| 异常/边界情况处理 | 已覆盖 | [[事件队列满会丢]]、[[缓存需要降级]]、[[消费者主动溢写]]、[[退出分两类]]、[[TaskSet管重试]] |
| 版本演化/设计取舍历史 | 已覆盖 | [[端点定义角色]](Akka 迁移)、[[统一内存软界]](1.6 起默认)、[[磁盘是后备层]](2.0 取消统一接口);[[推测慢任务]] 标注书中与当前默认值差异 |
本书以 Spark 2.1 源码剖析 Spark Core:设计缘起、RPC 与事件总线、SparkContext/SparkEnv、存储与统一内存、DAG 与任务调度、Shuffle 与 Tungsten、Standalone/YARN 部署和 API 执行入口;新建“Spark内核执行机制”主题收拢内核链路,其余复用大数据计算范式、容量调度、内存分配、RPC、高可用等既有主题。
| 卡片标题 | 结论 | 主题文件或原因 |
|---|---|---|
| MRv1集中瓶颈 | 已复用 | notes/_topics/big-data-compute-paradigms.md、notes/_topics/capacity-scheduling.md |
| 内存削减I/O | 已复用 | notes/_topics/big-data-compute-paradigms.md |
| Stage拆解流水线 | 已创建 | notes/_topics/spark-core-internals.md、notes/_topics/big-data-compute-paradigms.md |
| 核心托住生态 | 已复用 | notes/_topics/big-data-compute-paradigms.md |
| Context屏蔽复杂性 | 已创建 | notes/_topics/spark-core-internals.md |
| 配置克隆隔离 | 已创建 | notes/_topics/spark-core-internals.md、notes/_topics/global-state-scope.md |
| RPC连接复用 | 已复用 | notes/_topics/rpc-rest-api.md |
| Netty管道分层 | 已复用 | notes/_topics/netty-framework-internals.md |
| 事件总线解耦 | 已创建 | notes/_topics/spark-core-internals.md、notes/_topics/message-brokers-event-logs.md |
| 度量三元组 | 已复用 | notes/_topics/logging-observability.md |
| 事件队列满会丢 | 已创建 | notes/_topics/spark-core-internals.md、notes/_topics/overload-protection-degradation.md |
| Context启动枢纽 | 已创建 | notes/_topics/spark-core-internals.md |
| 异步清理越界对象 | 已创建 | notes/_topics/spark-core-internals.md、notes/_topics/resource-ownership-lifetime.md |
| 事件日志可回放 | 已创建 | notes/_topics/spark-core-internals.md、notes/_topics/logging-observability.md |
| 负载驱动伸缩 | 已复用 | notes/_topics/capacity-scheduling.md |
| 依赖先分发 | 已创建 | notes/_topics/spark-core-internals.md |
| 运行环境箱 | 已创建 | notes/_topics/spark-core-internals.md |
| 端点定义角色 | 已复用 | notes/_topics/rpc-rest-api.md |
| 消息集中路由 | 已创建 | notes/_topics/spark-core-internals.md、notes/_topics/rpc-rest-api.md |
| Inbox串行消息 | 已创建 | notes/_topics/spark-core-internals.md、notes/_topics/concurrency-tasks-sync.md |
| 远程引用寻址 | 已复用 | notes/_topics/rpc-rest-api.md、notes/_topics/remote-interface-distribution.md |
| Shuffle位置账本 | 已创建 | notes/_topics/spark-core-internals.md |
| 提交协调去重 | 已创建 | notes/_topics/spark-core-internals.md、notes/_topics/faults-partial-failure-clocks.md |
| BlockManager单元 | 已创建 | notes/_topics/spark-core-internals.md |
| Driver管位置 | 已创建 | notes/_topics/spark-core-internals.md |
| Block锁读写 | 已复用 | notes/_topics/concurrency-tasks-sync.md、notes/_topics/lock-implementation.md |
| 磁盘是后备层 | 已创建 | notes/_topics/spark-core-internals.md |
| 存储内存池 | 已创建 | notes/_topics/spark-core-internals.md、notes/_topics/memory-allocation.md |
| 统一内存软界 | 已创建 | notes/_topics/spark-core-internals.md、notes/_topics/memory-allocation.md |
| 缓存需要降级 | 已创建 | notes/_topics/spark-core-internals.md、notes/_topics/caching-strategies.md |
| 血缘恢复计算 | 已创建 | notes/_topics/spark-core-internals.md、notes/_topics/big-data-compute-paradigms.md |
| 窄依赖可流水线 | 已创建 | notes/_topics/spark-core-internals.md |
| 宽依赖切阶段 | 已创建 | notes/_topics/spark-core-internals.md、notes/_topics/performance-profiling.md |
| DAG按Shuffle切 | 已创建 | notes/_topics/spark-core-internals.md |
| 任务调度分资源 | 已创建 | notes/_topics/spark-core-internals.md、notes/_topics/capacity-scheduling.md |
| TaskSet管重试 | 已创建 | notes/_topics/spark-core-internals.md |
| 本地性等待权衡 | 已创建 | notes/_topics/spark-core-internals.md、notes/_topics/capacity-scheduling.md |
| 推测慢任务 | 已创建 | notes/_topics/spark-core-internals.md、notes/_topics/faults-partial-failure-clocks.md |
| 任务内存隔离 | 已创建 | notes/_topics/spark-core-internals.md、notes/_topics/memory-allocation.md |
| 消费者主动溢写 | 已创建 | notes/_topics/spark-core-internals.md、notes/_topics/overload-protection-degradation.md |
| Tungsten降开销 | 已创建 | notes/_topics/spark-core-internals.md、notes/_topics/garbage-collection.md |
| TaskContext现场 | 已创建 | notes/_topics/spark-core-internals.md |
| MapTask写位置 | 已创建 | notes/_topics/spark-core-internals.md |
| ResultTask收尾 | 已创建 | notes/_topics/spark-core-internals.md |
| 索引分离数据 | 已创建 | notes/_topics/spark-core-internals.md |
| Master管资源 | 已复用 | notes/_topics/capacity-scheduling.md、notes/_topics/high-availability-architecture.md |
| 选举保可用 | 已复用 | notes/_topics/high-availability-architecture.md、notes/_topics/distributed-consensus.md |
| Worker持续汇报 | 已复用 | notes/_topics/faults-partial-failure-clocks.md |
| Executor多跳启动 | 已创建 | notes/_topics/spark-core-internals.md |
| 退出分两类 | 已创建 | notes/_topics/spark-core-internals.md、notes/_topics/resource-ownership-lifetime.md |
| YARN分层调度 | 已复用 | notes/_topics/big-data-compute-paradigms.md、notes/_topics/capacity-scheduling.md |
| 数据源可插拔 | 已复用 | notes/_topics/extensible-application-architecture.md |
| 检查点截血缘 | 已创建 | notes/_topics/spark-core-internals.md |
| Dataset双视角 | 已创建 | notes/_topics/spark-core-internals.md |
| 统一会话入口 | 已创建 | notes/_topics/spark-core-internals.md |
| Action触发执行 | 已创建 | notes/_topics/spark-core-internals.md |
从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。
主题索引
比较主备、主从、集群、分区与异地多活等高可用架构的适用范围、数据同步与代价。
主题索引
比较限流、减载、退避重试、分级依赖与防御成本的过载应对手段。
主题索引
时序模型与拉推采集、黄金指标与分位、探针与 APM、容量与负载、监控分层。
主题索引
比较分布式共识、领导者选举、副本数量与一致性模型的可靠性取舍。
主题索引
比较缓存穿透、雪崩、热点等问题的成因与应对方案。
主题索引
比较冗余容量、故障域、逻辑与物理资源解耦等容量规划与调度方法。
主题索引
比较 RPC 要解决的基本问题与历代框架取舍,以及 REST 的资源抽象、统一接口、成熟度与局限。
主题索引
比较批处理、流式、交互式查询、图计算、分布式机器学习与增量计算的计算模型与取舍。
主题索引
比较线程/任务抽象、异步结果传递、原子与同步手段的语义差异和生命周期约束。
主题索引
比较以数据模型、扩展点与插件为核心的应用架构,如何在开放扩展与稳定性、安全性之间取舍。
主题索引
比较采样剖析、火焰图、执行追踪与调用栈诊断的使用方法和解读边界。
主题索引
日志该记什么、怎么分级与结构化,采集管道与存储成本,以及审计证据与安全事件还原。
主题索引
比较故障与失效、部分失效、网络与超时的不确定性、时钟漂移与进程暂停,以及系统模型如何界定这些假设。
主题索引
线程的创建、状态、join/sleep/中断与收束,任务抽象为什么高于线程,线程池与 ForkJoin 的并行度与工作窃取,守护线程、ThreadLocal 与线程私有栈在什么条件下成立,以及并发结构怎样划分执行与状态;Actor/角色把状态隔离到单一线程、用 Inbox 串行收消息,是这条线的另一种解法。
主题索引
何时才需要分布、远程接口为何要粗粒度,以及远程外观、数据传输对象与序列化格式的设计。
主题索引
互斥锁与读写锁的适用比例、信号量与 CountDownLatch 的语义差别、条件等待为什么必须持锁并循环复查、锁顺序与可重入导致的死锁,以及粗粒度锁换简单性与细粒度锁换并发的代价。
主题索引
批量计算的执行模型:Map 与 Reduce 的边界、Shuffle 为什么是成本中心、本地性与重算代价、DAG 怎样突破两阶段落盘、作业链与调度怎样编排,以及 MapReduce 这类模型能解决与不能解决的边界。
主题索引
Reactor 与事件循环的基本结构,Netty 的 IO 线程与业务线程分工,Nginx 的事件模块、posted 请求、子请求调度与缓冲输出,响应式流的建模方式,以及阻塞调用如何破坏异步链路。
主题索引
Spark Core 从 SparkContext、RPC、存储体系、内存管理到 DAG/Task 调度、Shuffle 与容错恢复的内部机制与取舍。
主题索引
比较不同语言与框架如何表达独占/共享所有权、释放时机和作用域退出清理。
主题索引
比较分级分配、页/块管理与多级缓存降锁等分配器设计。
主题索引
比较锁状态存储、锁膨胀、自旋与排队队列、同步器骨架等锁实现机制及其竞争开销。
主题索引
Netty 的反应器、通道、流水线与处理器、ByteBuf 内存管理和编解码器的设计与使用边界。
主题索引
比较不同语言运行时的回收算法、写屏障、并发标记与调步策略取舍。
主题索引
事件与消息的区别、事件建模与事件设计:事件键与单写者、事件大小与完整性、事件注册表与事件编排。
主题索引
这些计算跑在什么上面:大数据的边界怎么定义、平台分几层(存储/计算/调度/资源)、数据湖与湖仓的分工、批流查询引擎各自的位置与切换条件,以及平台从集群到云服务的演进。
主题索引
比较全局变量的危害来源、作用域规则与隔离全局状态的手段。