来源书籍

Spark内核设计的艺术_架构设计与实现 (大数据技术丛书)

Skill 版本:v8 源码分享类 工程实践(高信息浓度 + 低稳定性) 56 张卡片

尚未生成整书笔记。

类别清单覆盖

8/8

已覆盖 8 补充生成 0 未覆盖 0

章节与卡片

02 设计理念与基本架构

5 张卡片
  1. MRv1集中瓶颈 理解等级:未标注 普通读书笔记卡
  2. 内存削减I/O 理解等级:未标注 普通读书笔记卡
  3. Stage拆解流水线 理解等级:未标注 普通读书笔记卡
  4. 核心托住生态 理解等级:未标注 普通读书笔记卡
  5. Context屏蔽复杂性 理解等级:未标注 普通读书笔记卡

03 Spark基础设施

6 张卡片
  1. 配置克隆隔离 理解等级:未标注 普通读书笔记卡
  2. RPC连接复用 理解等级:未标注 普通读书笔记卡
  3. Netty管道分层 理解等级:未标注 普通读书笔记卡
  4. 事件总线解耦 理解等级:未标注 普通读书笔记卡
  5. 度量三元组 理解等级:未标注 普通读书笔记卡
  6. 事件队列满会丢 理解等级:未标注 普通读书笔记卡

04 SparkContext的初始化

5 张卡片
  1. Context启动枢纽 理解等级:未标注 普通读书笔记卡
  2. 异步清理越界对象 理解等级:未标注 普通读书笔记卡
  3. 事件日志可回放 理解等级:未标注 普通读书笔记卡
  4. 负载驱动伸缩 理解等级:未标注 普通读书笔记卡
  5. 依赖先分发 理解等级:未标注 普通读书笔记卡

05 Spark执行环境

7 张卡片
  1. 运行环境箱 理解等级:未标注 普通读书笔记卡
  2. 端点定义角色 理解等级:未标注 普通读书笔记卡
  3. 消息集中路由 理解等级:未标注 普通读书笔记卡
  4. Inbox串行消息 理解等级:未标注 普通读书笔记卡
  5. 远程引用寻址 理解等级:未标注 普通读书笔记卡
  6. Shuffle位置账本 理解等级:未标注 普通读书笔记卡
  7. 提交协调去重 理解等级:未标注 普通读书笔记卡

06 存储体系

7 张卡片
  1. BlockManager单元 理解等级:未标注 普通读书笔记卡
  2. Driver管位置 理解等级:未标注 普通读书笔记卡
  3. Block锁读写 理解等级:未标注 普通读书笔记卡
  4. 磁盘是后备层 理解等级:未标注 普通读书笔记卡
  5. 存储内存池 理解等级:未标注 普通读书笔记卡
  6. 统一内存软界 理解等级:未标注 普通读书笔记卡
  7. 缓存需要降级 理解等级:未标注 普通读书笔记卡

07 调度系统

8 张卡片
  1. 血缘恢复计算 理解等级:未标注 普通读书笔记卡
  2. 窄依赖可流水线 理解等级:未标注 普通读书笔记卡
  3. 宽依赖切阶段 理解等级:未标注 普通读书笔记卡
  4. DAG按Shuffle切 理解等级:未标注 普通读书笔记卡
  5. 任务调度分资源 理解等级:未标注 普通读书笔记卡
  6. TaskSet管重试 理解等级:未标注 普通读书笔记卡
  7. 本地性等待权衡 理解等级:未标注 普通读书笔记卡
  8. 推测慢任务 理解等级:未标注 普通读书笔记卡

08 计算引擎

7 张卡片
  1. 任务内存隔离 理解等级:未标注 普通读书笔记卡
  2. 消费者主动溢写 理解等级:未标注 普通读书笔记卡
  3. Tungsten降开销 理解等级:未标注 普通读书笔记卡
  4. TaskContext现场 理解等级:未标注 普通读书笔记卡
  5. MapTask写位置 理解等级:未标注 普通读书笔记卡
  6. ResultTask收尾 理解等级:未标注 普通读书笔记卡
  7. 索引分离数据 理解等级:未标注 普通读书笔记卡

09 部署模式

6 张卡片
  1. Master管资源 理解等级:未标注 普通读书笔记卡
  2. 选举保可用 理解等级:未标注 普通读书笔记卡
  3. Worker持续汇报 理解等级:未标注 普通读书笔记卡
  4. Executor多跳启动 理解等级:未标注 普通读书笔记卡
  5. 退出分两类 理解等级:未标注 普通读书笔记卡
  6. YARN分层调度 理解等级:未标注 普通读书笔记卡

10 Spark API

5 张卡片
  1. 数据源可插拔 理解等级:未标注 普通读书笔记卡
  2. 检查点截血缘 理解等级:未标注 普通读书笔记卡
  3. Dataset双视角 理解等级:未标注 普通读书笔记卡
  4. 统一会话入口 理解等级:未标注 普通读书笔记卡
  5. Action触发执行 理解等级:未标注 普通读书笔记卡

全书概览

《Spark内核设计的艺术:架构设计与实现 (大数据技术丛书)》读书笔记总览

Skill 版本:未记录

类别:源码分享类

本次实际使用规则:book-notes v8(2026-09-27 P1→v8 批处理修订),详见 _workflow.md。

阶段一:整体评级

四象限结论:工程实践(高信息浓度 + 低稳定性)

评级理由:

信息浓度高:本书第2章从MRv1瓶颈、Spark内存计算、Stage和模块体系解释设计缘起;第3-5章围绕SparkConf、Netty RPC、事件总线、度量系统、SparkContext和SparkEnv展开源码级机制;第6-9章进一步深入BlockManager、统一内存、RDD血缘、DAGScheduler、TaskScheduler、Shuffle、Tungsten、Standalone和YARN部署流程。这些内容主要回答“为什么这样组织一个分布式计算框架”,而不是只罗列命令或API。

稳定性偏低:全书以Spark 2.1.0前后的具体源码为主要分析对象,章节中大量出现类名、方法名、配置项、部署脚本和当时的实现路径,例如Akka迁移到Netty RPC、UnifiedMemoryManager、Standalone Master/Worker、SparkSession Builder等。核心分布式计算思想仍有迁移价值,但具体实现会随Spark版本演进而变化,因此整体落在“工程实践”象限。

阶段二:章节精读/略读划分

第1章主要是JDK、Scala、Spark、SBT、Git、Eclipse等环境准备和word count初体验,操作性强,略读;第2章建立Spark设计总图,精读;第3-5章是基础设施、SparkContext与SparkEnv,精读;第6-9章覆盖存储、调度、计算、部署,是全书核心,精读;第10章把API与前述执行链路串联,精读。

阶段三:章节进度追踪表

章节号 章节标题 精读/略读 状态 卡片数
前言/序 本书赞誉、前言、目录等 略读 done 0
1 环境准备 略读 done 0
2 设计理念与基本架构 精读 done 5
3 Spark基础设施 精读 done 6
4 SparkContext的初始化 精读 done 5
5 Spark执行环境 精读 done 7
6 存储体系 精读 done 7
7 调度系统 精读 done 8
8 计算引擎 精读 done 7
9 部署模式 精读 done 6
10 Spark API 精读 done 5
附录 附录与外部博客对应说明 略读 done 0

实践卡进度

序号 实践标题 实践方式 状态 关联章节 产出
1 缓存级别内存压力实验 最小实验 done 第6章 缓存级别 × 耗时/缓存比例结果表
2 用事件日志复盘Stage切分 最小实验 done 第4、7章 预测 vs 实际 Stage 差异表

未采用的候选:“搭建多 Master + ZooKeeper 验证切换”需要多节点环境且 Standalone 已非主流部署方式,按实践优先级不生成。

类别清单核对(源码分享类)

必答维度 覆盖状态 关联卡片标题或未覆盖理由
整体架构分层 已覆盖 [[核心托住生态]]、[[Context屏蔽复杂性]]、[[Context启动枢纽]]、[[运行环境箱]]
核心数据结构设计 已覆盖 [[Shuffle位置账本]]、[[索引分离数据]]、[[存储内存池]]、[[Inbox串行消息]]
关键算法/流程实现 已覆盖 [[DAG按Shuffle切]]、[[任务调度分资源]]、[[本地性等待权衡]]、[[Action触发执行]]
并发/线程安全处理 已覆盖 [[Block锁读写]]、[[Inbox串行消息]]、[[配置克隆隔离]]、[[TaskContext现场]]
扩展点与插件机制 已覆盖 [[数据源可插拔]]、[[度量三元组]]、[[事件总线解耦]]
性能优化手段 已覆盖 [[RPC连接复用]]、[[Tungsten降开销]]、[[统一内存软界]]、[[窄依赖可流水线]]
异常/边界情况处理 已覆盖 [[事件队列满会丢]]、[[缓存需要降级]]、[[消费者主动溢写]]、[[退出分两类]]、[[TaskSet管重试]]
版本演化/设计取舍历史 已覆盖 [[端点定义角色]](Akka 迁移)、[[统一内存软界]](1.6 起默认)、[[磁盘是后备层]](2.0 取消统一接口);[[推测慢任务]] 标注书中与当前默认值差异

主题索引维护

本书以 Spark 2.1 源码剖析 Spark Core:设计缘起、RPC 与事件总线、SparkContext/SparkEnv、存储与统一内存、DAG 与任务调度、Shuffle 与 Tungsten、Standalone/YARN 部署和 API 执行入口;新建“Spark内核执行机制”主题收拢内核链路,其余复用大数据计算范式、容量调度、内存分配、RPC、高可用等既有主题。

卡片标题 结论 主题文件或原因
MRv1集中瓶颈 已复用 notes/_topics/big-data-compute-paradigms.md、notes/_topics/capacity-scheduling.md
内存削减I/O 已复用 notes/_topics/big-data-compute-paradigms.md
Stage拆解流水线 已创建 notes/_topics/spark-core-internals.md、notes/_topics/big-data-compute-paradigms.md
核心托住生态 已复用 notes/_topics/big-data-compute-paradigms.md
Context屏蔽复杂性 已创建 notes/_topics/spark-core-internals.md
配置克隆隔离 已创建 notes/_topics/spark-core-internals.md、notes/_topics/global-state-scope.md
RPC连接复用 已复用 notes/_topics/rpc-rest-api.md
Netty管道分层 已复用 notes/_topics/netty-framework-internals.md
事件总线解耦 已创建 notes/_topics/spark-core-internals.md、notes/_topics/message-brokers-event-logs.md
度量三元组 已复用 notes/_topics/logging-observability.md
事件队列满会丢 已创建 notes/_topics/spark-core-internals.md、notes/_topics/overload-protection-degradation.md
Context启动枢纽 已创建 notes/_topics/spark-core-internals.md
异步清理越界对象 已创建 notes/_topics/spark-core-internals.md、notes/_topics/resource-ownership-lifetime.md
事件日志可回放 已创建 notes/_topics/spark-core-internals.md、notes/_topics/logging-observability.md
负载驱动伸缩 已复用 notes/_topics/capacity-scheduling.md
依赖先分发 已创建 notes/_topics/spark-core-internals.md
运行环境箱 已创建 notes/_topics/spark-core-internals.md
端点定义角色 已复用 notes/_topics/rpc-rest-api.md
消息集中路由 已创建 notes/_topics/spark-core-internals.md、notes/_topics/rpc-rest-api.md
Inbox串行消息 已创建 notes/_topics/spark-core-internals.md、notes/_topics/concurrency-tasks-sync.md
远程引用寻址 已复用 notes/_topics/rpc-rest-api.md、notes/_topics/remote-interface-distribution.md
Shuffle位置账本 已创建 notes/_topics/spark-core-internals.md
提交协调去重 已创建 notes/_topics/spark-core-internals.md、notes/_topics/faults-partial-failure-clocks.md
BlockManager单元 已创建 notes/_topics/spark-core-internals.md
Driver管位置 已创建 notes/_topics/spark-core-internals.md
Block锁读写 已复用 notes/_topics/concurrency-tasks-sync.md、notes/_topics/lock-implementation.md
磁盘是后备层 已创建 notes/_topics/spark-core-internals.md
存储内存池 已创建 notes/_topics/spark-core-internals.md、notes/_topics/memory-allocation.md
统一内存软界 已创建 notes/_topics/spark-core-internals.md、notes/_topics/memory-allocation.md
缓存需要降级 已创建 notes/_topics/spark-core-internals.md、notes/_topics/caching-strategies.md
血缘恢复计算 已创建 notes/_topics/spark-core-internals.md、notes/_topics/big-data-compute-paradigms.md
窄依赖可流水线 已创建 notes/_topics/spark-core-internals.md
宽依赖切阶段 已创建 notes/_topics/spark-core-internals.md、notes/_topics/performance-profiling.md
DAG按Shuffle切 已创建 notes/_topics/spark-core-internals.md
任务调度分资源 已创建 notes/_topics/spark-core-internals.md、notes/_topics/capacity-scheduling.md
TaskSet管重试 已创建 notes/_topics/spark-core-internals.md
本地性等待权衡 已创建 notes/_topics/spark-core-internals.md、notes/_topics/capacity-scheduling.md
推测慢任务 已创建 notes/_topics/spark-core-internals.md、notes/_topics/faults-partial-failure-clocks.md
任务内存隔离 已创建 notes/_topics/spark-core-internals.md、notes/_topics/memory-allocation.md
消费者主动溢写 已创建 notes/_topics/spark-core-internals.md、notes/_topics/overload-protection-degradation.md
Tungsten降开销 已创建 notes/_topics/spark-core-internals.md、notes/_topics/garbage-collection.md
TaskContext现场 已创建 notes/_topics/spark-core-internals.md
MapTask写位置 已创建 notes/_topics/spark-core-internals.md
ResultTask收尾 已创建 notes/_topics/spark-core-internals.md
索引分离数据 已创建 notes/_topics/spark-core-internals.md
Master管资源 已复用 notes/_topics/capacity-scheduling.md、notes/_topics/high-availability-architecture.md
选举保可用 已复用 notes/_topics/high-availability-architecture.md、notes/_topics/distributed-consensus.md
Worker持续汇报 已复用 notes/_topics/faults-partial-failure-clocks.md
Executor多跳启动 已创建 notes/_topics/spark-core-internals.md
退出分两类 已创建 notes/_topics/spark-core-internals.md、notes/_topics/resource-ownership-lifetime.md
YARN分层调度 已复用 notes/_topics/big-data-compute-paradigms.md、notes/_topics/capacity-scheduling.md
数据源可插拔 已复用 notes/_topics/extensible-application-architecture.md
检查点截血缘 已创建 notes/_topics/spark-core-internals.md
Dataset双视角 已创建 notes/_topics/spark-core-internals.md
统一会话入口 已创建 notes/_topics/spark-core-internals.md
Action触发执行 已创建 notes/_topics/spark-core-internals.md

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

主题索引

高可用与异地多活架构

比较主备、主从、集群、分区与异地多活等高可用架构的适用范围、数据同步与代价。

398 张卡片 · 79 本书

主题索引

过载保护与优雅降级

比较限流、减载、退避重试、分级依赖与防御成本的过载应对手段。

386 张卡片 · 68 本书

主题索引

指标与监控

时序模型与拉推采集、黄金指标与分位、探针与 APM、容量与负载、监控分层。

382 张卡片 · 58 本书

主题索引

分布式共识与领导者选举

比较分布式共识、领导者选举、副本数量与一致性模型的可靠性取舍。

376 张卡片 · 41 本书

主题索引

缓存架构与失效问题

比较缓存穿透、雪崩、热点等问题的成因与应对方案。

345 张卡片 · 58 本书

主题索引

容量规划与资源调度

比较冗余容量、故障域、逻辑与物理资源解耦等容量规划与调度方法。

344 张卡片 · 74 本书

主题索引

远程调用与REST设计

比较 RPC 要解决的基本问题与历代框架取舍,以及 REST 的资源抽象、统一接口、成熟度与局限。

303 张卡片 · 53 本书

主题索引

大数据计算范式

比较批处理、流式、交互式查询、图计算、分布式机器学习与增量计算的计算模型与取舍。

298 张卡片 · 32 本书

主题索引

并发任务与同步原语

比较线程/任务抽象、异步结果传递、原子与同步手段的语义差异和生命周期约束。

215 张卡片 · 41 本书

主题索引

可扩展应用与插件架构

比较以数据模型、扩展点与插件为核心的应用架构,如何在开放扩展与稳定性、安全性之间取舍。

173 张卡片 · 41 本书

主题索引

性能剖析与诊断工具

比较采样剖析、火焰图、执行追踪与调用栈诊断的使用方法和解读边界。

168 张卡片 · 34 本书

主题索引

日志、审计与取证

日志该记什么、怎么分级与结构化,采集管道与存储成本,以及审计证据与安全事件还原。

167 张卡片 · 46 本书

主题索引

故障、部分失效与分布式时钟

比较故障与失效、部分失效、网络与超时的不确定性、时钟漂移与进程暂停,以及系统模型如何界定这些假设。

112 张卡片 · 41 本书

主题索引

线程与任务抽象

线程的创建、状态、join/sleep/中断与收束,任务抽象为什么高于线程,线程池与 ForkJoin 的并行度与工作窃取,守护线程、ThreadLocal 与线程私有栈在什么条件下成立,以及并发结构怎样划分执行与状态;Actor/角色把状态隔离到单一线程、用 Inbox 串行收消息,是这条线的另一种解法。

112 张卡片 · 27 本书

主题索引

分布边界与远程接口

何时才需要分布、远程接口为何要粗粒度,以及远程外观、数据传输对象与序列化格式的设计。

93 张卡片 · 29 本书

主题索引

互斥、条件与死锁

互斥锁与读写锁的适用比例、信号量与 CountDownLatch 的语义差别、条件等待为什么必须持锁并循环复查、锁顺序与可重入导致的死锁,以及粗粒度锁换简单性与细粒度锁换并发的代价。

81 张卡片 · 21 本书

主题索引

批处理与 DAG:MapReduce 的代价与图执行

批量计算的执行模型:Map 与 Reduce 的边界、Shuffle 为什么是成本中心、本地性与重算代价、DAG 怎样突破两阶段落盘、作业链与调度怎样编排,以及 MapReduce 这类模型能解决与不能解决的边界。

73 张卡片 · 19 本书

主题索引

事件循环与 NIO 线程模型

Reactor 与事件循环的基本结构,Netty 的 IO 线程与业务线程分工,Nginx 的事件模块、posted 请求、子请求调度与缓冲输出,响应式流的建模方式,以及阻塞调用如何破坏异步链路。

68 张卡片 · 11 本书

主题索引

Spark内核执行机制

Spark Core 从 SparkContext、RPC、存储体系、内存管理到 DAG/Task 调度、Shuffle 与容错恢复的内部机制与取舍。

65 张卡片 · 6 本书

主题索引

资源所有权与生命周期管理

比较不同语言与框架如何表达独占/共享所有权、释放时机和作用域退出清理。

62 张卡片 · 20 本书

主题索引

内存分配器设计

比较分级分配、页/块管理与多级缓存降锁等分配器设计。

47 张卡片 · 13 本书

主题索引

锁的实现与竞争优化

比较锁状态存储、锁膨胀、自旋与排队队列、同步器骨架等锁实现机制及其竞争开销。

45 张卡片 · 7 本书

主题索引

Netty框架内部机制

Netty 的反应器、通道、流水线与处理器、ByteBuf 内存管理和编解码器的设计与使用边界。

44 张卡片 · 6 本书

主题索引

垃圾回收机制

比较不同语言运行时的回收算法、写屏障、并发标记与调步策略取舍。

30 张卡片 · 5 本书

主题索引

大数据平台:分层、湖仓与引擎选型

这些计算跑在什么上面:大数据的边界怎么定义、平台分几层(存储/计算/调度/资源)、数据湖与湖仓的分工、批流查询引擎各自的位置与切换条件,以及平台从集群到云服务的演进。

25 张卡片 · 13 本书

主题索引

全局状态与作用域管理

比较全局变量的危害来源、作用域规则与隔离全局状态的手段。

16 张卡片 · 7 本书