Stage拆解流水线
Hadoop把“写中间结果”和“读中间结果”两个环节简单串行衔接。Spark把计算拆成多个阶段(Stage),以Shuffle依赖为边界切分:有依赖关系的Stage按顺序执行,没有依赖的可以并行。于是一个作业可以是一到多个Stage组成的有向无环图,调度器只在必须等待的地方等待,见[[DAG按Shuffle切]]。
主题对照
Spark Core 从 SparkContext、RPC、存储体系、内存管理到 DAG/Task 调度、Shuffle 与容错恢复的内部机制与取舍。
Hadoop把“写中间结果”和“读中间结果”两个环节简单串行衔接。Spark把计算拆成多个阶段(Stage),以Shuffle依赖为边界切分:有依赖关系的Stage按顺序执行,没有依赖的可以并行。于是一个作业可以是一到多个Stage组成的有向无环图,调度器只在必须等待的地方等待,见[[DAG按Shuffle切]]。
SparkContext是应用与集群之间的总入口:网络通信、分布式部署、消息、存储、计算引擎、度量、文件服务和Web UI都藏在它后面,开发者只调用它提供的API。后来的SparkSession提供更高层的接口,底层依然依赖SparkContext。好的框架入口不是功能堆叠,而是把必要的分布式复杂度收在里面,见[[Context启动枢纽]]。
多个组件需要同一份配置时,直觉是把SparkConf设成全局变量或传引用,但这会引入并发访问。即便底层用线程安全的ConcurrentHashMap,并发依然有性能损失,而且一处修改会影响所有持有者。Spark的做法是让SparkConf实现克隆,需要时各自复制一份。配置对象按值传递,比共享可变引用更安全,代价是多一份内存。
事件总线把“谁产生事件”和“谁处理事件”解耦。最直接的实现是同步遍历所有监听器逐个调用,监听器一多,产生事件的线程就被拖慢。Spark的LiveListenerBus改为异步:事件先放进队列,由专门线程投递给监听器,UI等消费者能及时刷新,调度等核心路径也不被拖累。代价是事件处理有延迟,队列还可能溢出,见[[事件队列满会丢]]。
异步事件总线的队列是有界的:默认只能容纳一万个事件,可以配置。生产速度长时间超过消费速度时,队列一满,新事件就会被直接丢弃,只记录一个“发生过丢弃”的标记。依赖监听器事件的UI、事件日志和自定义监控因此可能不完整。事件量大时要监控丢弃情况、减少慢监听器,或调大队列。
Driver的初始化就是SparkContext的初始化,它必须完成才能提交作业。过程是按依赖顺序装配一组运行时部件:执行环境SparkEnv、Web UI、心跳接收器、任务调度器、DAG调度器、度量系统、事件日志、动态资源管理器、上下文清理器等。读启动顺序就能看出组件间真实的依赖关系,这比看类图更可靠。
长时间运行的应用会不断创建RDD、Shuffle和广播变量,用完后若不回收,Driver和Executor上的元数据、磁盘文件就会越积越多。上下文清理器在后台异步清理已经超出应用作用范围的RDD、Shuffle的map状态和元数据、广播对象以及RDD检查点数据。异步清理不阻塞作业,代价是回收时机不确定,内存敏感时仍要主动释放。
实时UI只在应用运行期间可看,应用结束后现场就没了。事件日志监听器把运行事件持久化到存储,应用结束后仍可回放分析执行过程,历史服务器正是依赖它。它是可选组件,需显式开启。可观测性不只看实时面板,把关键事件落盘,失败现场才能从瞬间状态变成可复盘的材料。
计算开始前,代码和依赖必须先到达计算节点。SparkContext初始化时登记用户指定的Jar包和其他文件(部署到YARN时还会并入YARN专用配置指定的Jar),逐个加入Driver的文件服务,Executor执行任务前再从那里下载。依赖分发是分布式执行的前置条件,漏配一个Jar,报错往往要到任务在远端运行时才出现。
每个Executor都有自己的执行环境SparkEnv,它把RPC环境、序列化、广播、存储体系(BlockManager)、Shuffle输出跟踪、度量和输出提交协调器等组件装在一起。任务在Executor上存数据、做计算、与其他节点通信,都通过这套环境。Driver也有SparkEnv,但它与Executor的关系更紧密:任务真正依赖的是这一整箱协作组件。
一个RPC环境里注册着很多端点,调度器(Dispatcher)负责把每条收到的消息路由给应处理它的端点。有了集中路由,端点之间不必直接相互依赖,消息入口统一,也便于用线程池异步、并行地处理消息。它是整个RPC层的交通枢纽,见[[Inbox串行消息]]。
消息不会直接交给端点,而是先放进它专属的收件箱(Inbox),收件箱有新消息时被放进一个阻塞队列,由消息循环线程取出处理。收件箱的列表本身不是线程安全的,读写都加锁保护;端点注册时第一条消息总是OnStart,保证先初始化再处理业务消息。底层网络再并发,端点内部的状态变更也能按可控的顺序进行。
Shuffle要先有一本“输出位置账本”:每个map任务完成后把输出状态(在哪台机器、每个分区多大)上报,Driver端的MapOutputTrackerMaster按Shuffle编号汇总成最新最全的记录;Executor端的跟踪器只缓存本节点信息,需要时向Driver查询。reduce任务正是查这本账才知道去哪里拉取数据,账本出错,下游就无法定位上游结果。
任务失败重试和推测执行会让同一分区出现多个尝试,若都把结果写成最终输出,就会重复或互相覆盖。输出提交协调器由Driver统一授权:每个尝试写HDFS前先询问能否提交,同一分区只允许一个尝试获得提交权。容错重试提高了成功率,就必须配套提交去重,否则容错会变成重复的副作用,见[[推测慢任务]]。
Spark的存储体系由分布在Driver和各Executor上的BlockManager组成:每个BlockManager管理本地的数据块(Block),同时通过RPC与Driver上的主端点协作,注册自己、上报Block变化、查询Block位置;Driver也能通过每个BlockManager的从端点下达删除等命令。数据分散存放,元数据集中协调,见[[Driver管位置]]。
Block位置的权威记录只在Driver:BlockManagerMasterEndpoint集中维护各节点BlockManager的注册信息、BlockManager与Executor的对应关系,以及每个Block存在哪里。数据可以分散在所有节点上,但位置元数据必须有统一入口,调度器才能据此做本地性决策,缓存读取才能找到副本。代价是Driver成为元数据中心,需要避免让它过载。
内存优先的系统仍需要可靠的磁盘后备:DiskStore负责把Block写入磁盘,DiskBlockManager负责把逻辑Block映射到具体的目录和文件,采用一级目录加若干二级目录的结构分散文件。内存不足、缓存被驱逐、Shuffle输出,最后都要落到这一层。Spark 2.0起不再为各存储实现保留统一接口,也去掉了Tachyon存储,磁盘层直接服务于存储体系。
Spark把内存按用途分为存储池和执行池两类,每类又按位置分堆内和堆外,共四个逻辑池。存储内存池是对存储用物理内存的逻辑抽象,提供申请、释放和收缩,由统一规则管理,而不是让各调用点各自争抢内存。存储用于缓存RDD和广播数据,执行用于Shuffle、聚合和排序,两类需求分别记账。
统一内存管理把执行内存和存储内存之间改成“软”边界:一方空闲的内存可以借给另一方用,提高利用率。存储不够时,最多借走执行池当前空闲的部分。软边界不等于双方对称:按官方调优文档,执行需要内存时可以驱逐存储占用的部分,存储却不能反过来抢执行已用的内存,所以缓存可能被挤掉,见[[缓存需要降级]]。
内存不够放新Block时,MemoryStore会挑选符合条件的已有Block驱逐出去腾出空间;被驱逐的Block如果存储级别允许用磁盘,就写到磁盘,否则直接丢弃,下次用到时再按血缘重算。所以缓存级别决定了降级方式:只用内存的缓存可能“消失”,内存加磁盘的缓存会变慢但还在。缓存成熟的标志是能优雅降级,而不是永远命中。
RDD记录自己是从哪些父RDD经过什么转换得来,这条依赖链就是血缘。分区丢失时,不必事先复制中间数据,而是沿血缘重算。重算代价取决于依赖类型:窄依赖只需重算父RDD对应的那个分区;Shuffle依赖则要恢复所有相关父分区,代价大得多。血缘恢复的前提是上游输入仍可重读,链太长时要用检查点截断,见[[检查点截血缘]]。
若RDD的每个分区只依赖上游的一个(或少数几个固定)分区,就是窄依赖,如map、filter。窄依赖不需要跨节点重新分布数据,所以被放在同一个Stage里,按管道方式逐条迭代执行:一条记录经过多次转换后才写出,不产生中间落盘。能写成窄依赖的逻辑,就少一次Shuffle。
若子分区依赖上游的多个分区,如groupByKey、join,就是Shuffle依赖(宽依赖):数据必须按键重新分布,往往要跨节点传输,并先落盘再被下游拉取。因此它是Stage的边界:上游全部写完输出,下游才能开始。作业慢时,先看Shuffle读写量和各分区大小是否均匀,这是最常见的成本来源。
DAG调度器把一个作业的RDD图按Shuffle依赖切成多个Stage,并建立Stage之间的依赖:没有依赖关系的Stage可以并行,有依赖的按顺序执行。上游是负责产出Shuffle数据的ShuffleMapStage,最下游是产出结果的ResultStage。它只管逻辑执行图,不管任务放到哪台机器,那是[[任务调度分资源]]的职责。
Spark的资源调度分两层:第一层由集群管理器(YARN的ResourceManager、Standalone的Master等)把资源分给应用;第二层由应用内的任务调度器把资源分给每个任务。任务调度器接收DAG调度器为每个Stage创建的任务集,按FIFO或FAIR算法分配资源、发到Executor执行,并负责失败重试和推测执行。它不决定DAG如何切分。
每个Stage的任务集由一个TaskSetManager管理:记录各任务的运行、成功、失败,负责本地性和推测执行;某个Executor丢失时,把它上面正在跑的任务当作失败重新提交。全部任务都有一次成功后进入“僵尸”状态,不再启动新尝试,但继续跟踪还在跑的尝试。失败处理集中在任务集层面,不污染DAG的划分逻辑。
任务最好跑在数据所在的节点上(进程内、节点内、机架内、任意),调度器按本地性级别从高到低尝试。但任务时长无法预知,若一直等最佳位置,可能被占着资源的长任务拖住,所以每一级只等一段时间,等不到就降一级。这是在“少搬数据”和“别让资源空转”之间动态取舍,等待时长就是那个旋钮。
个别慢任务会拖慢整个作业。推测执行为明显落后的任务再启动一个副本,谁先完成用谁:任务集完成比例达到阈值后,耗时超过已完成任务中位时长若干倍的任务可被推测(书中版本为75%、1.5倍,当前文档为90%、3倍)。它默认关闭;整体都慢时只会放大压力,有外部副作用的任务还要靠[[提交协调去重]]。
一个Executor上同时跑多个任务尝试,它们共享节点级内存管理器的执行内存,但各自有一个任务内存管理器负责本次尝试的申请和释放;尝试内部的排序器、聚合表等组件都是“内存消费者”,经它申请内存。节点共享、任务记账,内存用在哪、谁该释放都能定位,任务结束时也能把它申请的内存全部回收。
执行引擎不能只会申请内存:任务内存不足时,任务内存管理器会要求已登记的内存消费者把部分数据溢写到磁盘,腾出空间继续运行;排序器中的记录数达到阈值时也会主动溢写,最后把溢写文件与内存数据合并。用速度换能跑完,避免直接内存溢出失败。频繁溢写通常说明分区太大或内存配置偏小。
点击箭头逐层展开,点击卡片标题查看详情。路径上下文仅用于连接层级,不计入主题卡片数。
来源书籍
源码分享类
书籍类型:工程实践
清单覆盖 8/8
56 张卡片
来源书籍
分布式系统类
书籍类型:工程实践
清单覆盖 3/6
125 张卡片
来源书籍
书籍类型:未标注
424 张卡片
来源书籍
实时流计算系统类
书籍类型:未标注
清单覆盖 8/8
172 张卡片
来源书籍
书籍类型:工程实践
39 张卡片
来源书籍
书籍类型:未标注
357 张卡片
主题索引
比较限流、减载、退避重试、分级依赖与防御成本的过载应对手段。
主题索引
比较缓存穿透、雪崩、热点等问题的成因与应对方案。
主题索引
比较冗余容量、故障域、逻辑与物理资源解耦等容量规划与调度方法。
主题索引
比较 RPC 要解决的基本问题与历代框架取舍,以及 REST 的资源抽象、统一接口、成熟度与局限。
主题索引
比较批处理、流式、交互式查询、图计算、分布式机器学习与增量计算的计算模型与取舍。
主题索引
比较线程/任务抽象、异步结果传递、原子与同步手段的语义差异和生命周期约束。
与 4 张主题卡片存在结构化链接;来自相同书籍;属于相同分类
与 2 张主题卡片存在结构化链接;共享 2 个其他主题;来自相同书籍;属于相同分类
与 2 张主题卡片存在结构化链接;共享 2 个其他主题;来自相同书籍;属于相同分类
与 2 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类
与 1 张主题卡片存在结构化链接;共享 2 个其他主题;来自相同书籍;属于相同分类
与 1 张主题卡片存在结构化链接;共享 2 个其他主题;来自相同书籍;属于相同分类