主题对照

Spark内核执行机制

Spark Core 从 SparkContext、RPC、存储体系、内存管理到 DAG/Task 调度、Shuffle 与容错恢复的内部机制与取舍。

65 张卡片 · 6 本书

本层 65 张卡片 · 含下级覆盖 65 张卡片

本主题的卡片

Spark内核设计的艺术_架构设计与实现 (大数据技术丛书) · 设计理念与基本架构

Stage拆解流水线

Hadoop把“写中间结果”和“读中间结果”两个环节简单串行衔接。Spark把计算拆成多个阶段(Stage),以Shuffle依赖为边界切分:有依赖关系的Stage按顺序执行,没有依赖的可以并行。于是一个作业可以是一到多个Stage组成的有向无环图,调度器只在必须等待的地方等待,见[[DAG按Shuffle切]]。

查看卡片与原书出处

Spark内核设计的艺术_架构设计与实现 (大数据技术丛书) · 设计理念与基本架构

Context屏蔽复杂性

SparkContext是应用与集群之间的总入口:网络通信、分布式部署、消息、存储、计算引擎、度量、文件服务和Web UI都藏在它后面,开发者只调用它提供的API。后来的SparkSession提供更高层的接口,底层依然依赖SparkContext。好的框架入口不是功能堆叠,而是把必要的分布式复杂度收在里面,见[[Context启动枢纽]]。

查看卡片与原书出处

Spark内核设计的艺术_架构设计与实现 (大数据技术丛书) · Spark基础设施

配置克隆隔离

多个组件需要同一份配置时,直觉是把SparkConf设成全局变量或传引用,但这会引入并发访问。即便底层用线程安全的ConcurrentHashMap,并发依然有性能损失,而且一处修改会影响所有持有者。Spark的做法是让SparkConf实现克隆,需要时各自复制一份。配置对象按值传递,比共享可变引用更安全,代价是多一份内存。

查看卡片与原书出处

Spark内核设计的艺术_架构设计与实现 (大数据技术丛书) · Spark基础设施

事件总线解耦

事件总线把“谁产生事件”和“谁处理事件”解耦。最直接的实现是同步遍历所有监听器逐个调用,监听器一多,产生事件的线程就被拖慢。Spark的LiveListenerBus改为异步:事件先放进队列,由专门线程投递给监听器,UI等消费者能及时刷新,调度等核心路径也不被拖累。代价是事件处理有延迟,队列还可能溢出,见[[事件队列满会丢]]。

查看卡片与原书出处

Spark内核设计的艺术_架构设计与实现 (大数据技术丛书) · Spark基础设施

事件队列满会丢

异步事件总线的队列是有界的:默认只能容纳一万个事件,可以配置。生产速度长时间超过消费速度时,队列一满,新事件就会被直接丢弃,只记录一个“发生过丢弃”的标记。依赖监听器事件的UI、事件日志和自定义监控因此可能不完整。事件量大时要监控丢弃情况、减少慢监听器,或调大队列。

查看卡片与原书出处

Spark内核设计的艺术_架构设计与实现 (大数据技术丛书) · SparkContext的初始化

Context启动枢纽

Driver的初始化就是SparkContext的初始化,它必须完成才能提交作业。过程是按依赖顺序装配一组运行时部件:执行环境SparkEnv、Web UI、心跳接收器、任务调度器、DAG调度器、度量系统、事件日志、动态资源管理器、上下文清理器等。读启动顺序就能看出组件间真实的依赖关系,这比看类图更可靠。

查看卡片与原书出处

Spark内核设计的艺术_架构设计与实现 (大数据技术丛书) · SparkContext的初始化

异步清理越界对象

长时间运行的应用会不断创建RDD、Shuffle和广播变量,用完后若不回收,Driver和Executor上的元数据、磁盘文件就会越积越多。上下文清理器在后台异步清理已经超出应用作用范围的RDD、Shuffle的map状态和元数据、广播对象以及RDD检查点数据。异步清理不阻塞作业,代价是回收时机不确定,内存敏感时仍要主动释放。

查看卡片与原书出处

Spark内核设计的艺术_架构设计与实现 (大数据技术丛书) · SparkContext的初始化

事件日志可回放

实时UI只在应用运行期间可看,应用结束后现场就没了。事件日志监听器把运行事件持久化到存储,应用结束后仍可回放分析执行过程,历史服务器正是依赖它。它是可选组件,需显式开启。可观测性不只看实时面板,把关键事件落盘,失败现场才能从瞬间状态变成可复盘的材料。

查看卡片与原书出处

Spark内核设计的艺术_架构设计与实现 (大数据技术丛书) · SparkContext的初始化

依赖先分发

计算开始前,代码和依赖必须先到达计算节点。SparkContext初始化时登记用户指定的Jar包和其他文件(部署到YARN时还会并入YARN专用配置指定的Jar),逐个加入Driver的文件服务,Executor执行任务前再从那里下载。依赖分发是分布式执行的前置条件,漏配一个Jar,报错往往要到任务在远端运行时才出现。

查看卡片与原书出处

Spark内核设计的艺术_架构设计与实现 (大数据技术丛书) · Spark执行环境

运行环境箱

每个Executor都有自己的执行环境SparkEnv,它把RPC环境、序列化、广播、存储体系(BlockManager)、Shuffle输出跟踪、度量和输出提交协调器等组件装在一起。任务在Executor上存数据、做计算、与其他节点通信,都通过这套环境。Driver也有SparkEnv,但它与Executor的关系更紧密:任务真正依赖的是这一整箱协作组件。

查看卡片与原书出处

Spark内核设计的艺术_架构设计与实现 (大数据技术丛书) · Spark执行环境

消息集中路由

一个RPC环境里注册着很多端点,调度器(Dispatcher)负责把每条收到的消息路由给应处理它的端点。有了集中路由,端点之间不必直接相互依赖,消息入口统一,也便于用线程池异步、并行地处理消息。它是整个RPC层的交通枢纽,见[[Inbox串行消息]]。

查看卡片与原书出处

Spark内核设计的艺术_架构设计与实现 (大数据技术丛书) · Spark执行环境

Inbox串行消息

消息不会直接交给端点,而是先放进它专属的收件箱(Inbox),收件箱有新消息时被放进一个阻塞队列,由消息循环线程取出处理。收件箱的列表本身不是线程安全的,读写都加锁保护;端点注册时第一条消息总是OnStart,保证先初始化再处理业务消息。底层网络再并发,端点内部的状态变更也能按可控的顺序进行。

查看卡片与原书出处

Spark内核设计的艺术_架构设计与实现 (大数据技术丛书) · Spark执行环境

Shuffle位置账本

Shuffle要先有一本“输出位置账本”:每个map任务完成后把输出状态(在哪台机器、每个分区多大)上报,Driver端的MapOutputTrackerMaster按Shuffle编号汇总成最新最全的记录;Executor端的跟踪器只缓存本节点信息,需要时向Driver查询。reduce任务正是查这本账才知道去哪里拉取数据,账本出错,下游就无法定位上游结果。

查看卡片与原书出处

Spark内核设计的艺术_架构设计与实现 (大数据技术丛书) · Spark执行环境

提交协调去重

任务失败重试和推测执行会让同一分区出现多个尝试,若都把结果写成最终输出,就会重复或互相覆盖。输出提交协调器由Driver统一授权:每个尝试写HDFS前先询问能否提交,同一分区只允许一个尝试获得提交权。容错重试提高了成功率,就必须配套提交去重,否则容错会变成重复的副作用,见[[推测慢任务]]。

查看卡片与原书出处

Spark内核设计的艺术_架构设计与实现 (大数据技术丛书) · 存储体系

BlockManager单元

Spark的存储体系由分布在Driver和各Executor上的BlockManager组成:每个BlockManager管理本地的数据块(Block),同时通过RPC与Driver上的主端点协作,注册自己、上报Block变化、查询Block位置;Driver也能通过每个BlockManager的从端点下达删除等命令。数据分散存放,元数据集中协调,见[[Driver管位置]]。

查看卡片与原书出处

Spark内核设计的艺术_架构设计与实现 (大数据技术丛书) · 存储体系

Driver管位置

Block位置的权威记录只在Driver:BlockManagerMasterEndpoint集中维护各节点BlockManager的注册信息、BlockManager与Executor的对应关系,以及每个Block存在哪里。数据可以分散在所有节点上,但位置元数据必须有统一入口,调度器才能据此做本地性决策,缓存读取才能找到副本。代价是Driver成为元数据中心,需要避免让它过载。

查看卡片与原书出处

Spark内核设计的艺术_架构设计与实现 (大数据技术丛书) · 存储体系

磁盘是后备层

内存优先的系统仍需要可靠的磁盘后备:DiskStore负责把Block写入磁盘,DiskBlockManager负责把逻辑Block映射到具体的目录和文件,采用一级目录加若干二级目录的结构分散文件。内存不足、缓存被驱逐、Shuffle输出,最后都要落到这一层。Spark 2.0起不再为各存储实现保留统一接口,也去掉了Tachyon存储,磁盘层直接服务于存储体系。

查看卡片与原书出处

Spark内核设计的艺术_架构设计与实现 (大数据技术丛书) · 存储体系

存储内存池

Spark把内存按用途分为存储池和执行池两类,每类又按位置分堆内和堆外,共四个逻辑池。存储内存池是对存储用物理内存的逻辑抽象,提供申请、释放和收缩,由统一规则管理,而不是让各调用点各自争抢内存。存储用于缓存RDD和广播数据,执行用于Shuffle、聚合和排序,两类需求分别记账。

查看卡片与原书出处

Spark内核设计的艺术_架构设计与实现 (大数据技术丛书) · 存储体系

统一内存软界

统一内存管理把执行内存和存储内存之间改成“软”边界:一方空闲的内存可以借给另一方用,提高利用率。存储不够时,最多借走执行池当前空闲的部分。软边界不等于双方对称:按官方调优文档,执行需要内存时可以驱逐存储占用的部分,存储却不能反过来抢执行已用的内存,所以缓存可能被挤掉,见[[缓存需要降级]]。

查看卡片与原书出处

Spark内核设计的艺术_架构设计与实现 (大数据技术丛书) · 存储体系

缓存需要降级

内存不够放新Block时,MemoryStore会挑选符合条件的已有Block驱逐出去腾出空间;被驱逐的Block如果存储级别允许用磁盘,就写到磁盘,否则直接丢弃,下次用到时再按血缘重算。所以缓存级别决定了降级方式:只用内存的缓存可能“消失”,内存加磁盘的缓存会变慢但还在。缓存成熟的标志是能优雅降级,而不是永远命中。

查看卡片与原书出处

Spark内核设计的艺术_架构设计与实现 (大数据技术丛书) · 调度系统

血缘恢复计算

RDD记录自己是从哪些父RDD经过什么转换得来,这条依赖链就是血缘。分区丢失时,不必事先复制中间数据,而是沿血缘重算。重算代价取决于依赖类型:窄依赖只需重算父RDD对应的那个分区;Shuffle依赖则要恢复所有相关父分区,代价大得多。血缘恢复的前提是上游输入仍可重读,链太长时要用检查点截断,见[[检查点截血缘]]。

查看卡片与原书出处

Spark内核设计的艺术_架构设计与实现 (大数据技术丛书) · 调度系统

窄依赖可流水线

若RDD的每个分区只依赖上游的一个(或少数几个固定)分区,就是窄依赖,如map、filter。窄依赖不需要跨节点重新分布数据,所以被放在同一个Stage里,按管道方式逐条迭代执行:一条记录经过多次转换后才写出,不产生中间落盘。能写成窄依赖的逻辑,就少一次Shuffle。

查看卡片与原书出处

Spark内核设计的艺术_架构设计与实现 (大数据技术丛书) · 调度系统

宽依赖切阶段

若子分区依赖上游的多个分区,如groupByKey、join,就是Shuffle依赖(宽依赖):数据必须按键重新分布,往往要跨节点传输,并先落盘再被下游拉取。因此它是Stage的边界:上游全部写完输出,下游才能开始。作业慢时,先看Shuffle读写量和各分区大小是否均匀,这是最常见的成本来源。

查看卡片与原书出处

Spark内核设计的艺术_架构设计与实现 (大数据技术丛书) · 调度系统

DAG按Shuffle切

DAG调度器把一个作业的RDD图按Shuffle依赖切成多个Stage,并建立Stage之间的依赖:没有依赖关系的Stage可以并行,有依赖的按顺序执行。上游是负责产出Shuffle数据的ShuffleMapStage,最下游是产出结果的ResultStage。它只管逻辑执行图,不管任务放到哪台机器,那是[[任务调度分资源]]的职责。

查看卡片与原书出处

Spark内核设计的艺术_架构设计与实现 (大数据技术丛书) · 调度系统

任务调度分资源

Spark的资源调度分两层:第一层由集群管理器(YARN的ResourceManager、Standalone的Master等)把资源分给应用;第二层由应用内的任务调度器把资源分给每个任务。任务调度器接收DAG调度器为每个Stage创建的任务集,按FIFO或FAIR算法分配资源、发到Executor执行,并负责失败重试和推测执行。它不决定DAG如何切分。

查看卡片与原书出处

Spark内核设计的艺术_架构设计与实现 (大数据技术丛书) · 调度系统

TaskSet管重试

每个Stage的任务集由一个TaskSetManager管理:记录各任务的运行、成功、失败,负责本地性和推测执行;某个Executor丢失时,把它上面正在跑的任务当作失败重新提交。全部任务都有一次成功后进入“僵尸”状态,不再启动新尝试,但继续跟踪还在跑的尝试。失败处理集中在任务集层面,不污染DAG的划分逻辑。

查看卡片与原书出处

Spark内核设计的艺术_架构设计与实现 (大数据技术丛书) · 调度系统

本地性等待权衡

任务最好跑在数据所在的节点上(进程内、节点内、机架内、任意),调度器按本地性级别从高到低尝试。但任务时长无法预知,若一直等最佳位置,可能被占着资源的长任务拖住,所以每一级只等一段时间,等不到就降一级。这是在“少搬数据”和“别让资源空转”之间动态取舍,等待时长就是那个旋钮。

查看卡片与原书出处

Spark内核设计的艺术_架构设计与实现 (大数据技术丛书) · 调度系统

推测慢任务

个别慢任务会拖慢整个作业。推测执行为明显落后的任务再启动一个副本,谁先完成用谁:任务集完成比例达到阈值后,耗时超过已完成任务中位时长若干倍的任务可被推测(书中版本为75%、1.5倍,当前文档为90%、3倍)。它默认关闭;整体都慢时只会放大压力,有外部副作用的任务还要靠[[提交协调去重]]。

查看卡片与原书出处

Spark内核设计的艺术_架构设计与实现 (大数据技术丛书) · 计算引擎

任务内存隔离

一个Executor上同时跑多个任务尝试,它们共享节点级内存管理器的执行内存,但各自有一个任务内存管理器负责本次尝试的申请和释放;尝试内部的排序器、聚合表等组件都是“内存消费者”,经它申请内存。节点共享、任务记账,内存用在哪、谁该释放都能定位,任务结束时也能把它申请的内存全部回收。

查看卡片与原书出处

Spark内核设计的艺术_架构设计与实现 (大数据技术丛书) · 计算引擎

消费者主动溢写

执行引擎不能只会申请内存:任务内存不足时,任务内存管理器会要求已登记的内存消费者把部分数据溢写到磁盘,腾出空间继续运行;排序器中的记录数达到阈值时也会主动溢写,最后把溢写文件与内存数据合并。用速度换能跑完,避免直接内存溢出失败。频繁溢写通常说明分区太大或内存配置偏小。

查看卡片与原书出处
辅助阅读:卢曼编号

按卢曼编号阅读

点击箭头逐层展开,点击卡片标题查看详情。路径上下文仅用于连接层级,不计入主题卡片数。

  • 展开或收起下级: 1780 分布式ML瓶颈 路径上下文 大数据日知录_架构与算法 · 第15章 机器学习:范型与架构 理解等级:中级
    • 展开或收起下级: 1780.d RDD支撑迭代 路径上下文 大数据日知录_架构与算法 · 第15章 机器学习:范型与架构 理解等级:中级
      • 展开或收起下级: 1780.d.1 RDD转换创建新数据集 主题成员 大数据日知录_架构与算法 · 第15章 机器学习:范型与架构 理解等级:中级
        • 1780.d.1.a Action触发延迟计算 主题成员 大数据日知录_架构与算法 · 第15章 机器学习:范型与架构 理解等级:中级
        • 1780.d.1.b 缓存声明不等于立刻装载 主题成员 大数据日知录_架构与算法 · 第15章 机器学习:范型与架构 理解等级:中级
        • 1780.d.1.c 血缘重算只恢复所需分区 主题成员 大数据日知录_架构与算法 · 第15章 机器学习:范型与架构 理解等级:中级
        • 展开或收起下级: 1780.d.1.d 窄依赖看父分区去向 主题成员 大数据日知录_架构与算法 · 第15章 机器学习:范型与架构 理解等级:中级
          • 1780.d.1.d.1 Shuffle划分执行阶段 主题成员 大数据日知录_架构与算法 · 第15章 机器学习:范型与架构 理解等级:中级
  • 展开或收起下级: 2275 系统三要素 路径上下文 从零开始学架构 · 架构到底是指什么? 理解等级:未标注
    • 展开或收起下级: 2275.as 运维平台四化 路径上下文 从零开始学架构 · 互联网架构模板:"平台"技术 理解等级:未标注
      • 展开或收起下级: 2275.as.6 数据平台承载数据价值 路径上下文 Practical Lakehouse Architecture · Chapter 1. Introduction to Lakehouse Architecture 理解等级:初级
        • 展开或收起下级: 2275.as.6.j 数据应用需要贯通治理链 路径上下文 架构真意企业级应用架构设计方法论与实践 · 第三部分导读 理解等级:中级
          • 展开或收起下级: 2275.as.6.j.14 Spark减少多阶段重复落盘 主题成员 架构真意企业级应用架构设计方法论与实践 · 第11章 大数据技术中台 理解等级:中级
            • 2275.as.6.j.14.a 转换定义与动作执行区分 主题成员 架构真意企业级应用架构设计方法论与实践 · 第11章 大数据技术中台 理解等级:中级
          • 2275.as.6.j.15 RDD按记录与键值组织 主题成员 架构真意企业级应用架构设计方法论与实践 · 第11章 大数据技术中台 理解等级:初级
          • 2275.as.6.j.16 词频链由拆词映射再聚合 主题成员 架构真意企业级应用架构设计方法论与实践 · 第11章 大数据技术中台 理解等级:中级
          • 2275.as.6.j.17 SparkSQL分开语义与计算 主题成员 架构真意企业级应用架构设计方法论与实践 · 第11章 大数据技术中台 理解等级:中级
          • 2275.as.6.j.18 自定义函数集中表达转换规则 主题成员 架构真意企业级应用架构设计方法论与实践 · 第11章 大数据技术中台 理解等级:中级
  • 展开或收起下级: 2572 MRv1集中瓶颈 路径上下文 Spark内核设计的艺术_架构设计与实现 (大数据技术丛书) · 设计理念与基本架构 理解等级:未标注
    • 2572.b Stage拆解流水线 主题成员 Spark内核设计的艺术_架构设计与实现 (大数据技术丛书) · 设计理念与基本架构 理解等级:未标注
    • 2572.d Context屏蔽复杂性 主题成员 Spark内核设计的艺术_架构设计与实现 (大数据技术丛书) · 设计理念与基本架构 理解等级:未标注
  • 展开或收起下级: 2573 配置克隆隔离 主题成员 Spark内核设计的艺术_架构设计与实现 (大数据技术丛书) · Spark基础设施 理解等级:未标注
    • 2573.c 事件总线解耦 主题成员 Spark内核设计的艺术_架构设计与实现 (大数据技术丛书) · Spark基础设施 理解等级:未标注
    • 2573.e 事件队列满会丢 主题成员 Spark内核设计的艺术_架构设计与实现 (大数据技术丛书) · Spark基础设施 理解等级:未标注
  • 展开或收起下级: 2574 Context启动枢纽 主题成员 Spark内核设计的艺术_架构设计与实现 (大数据技术丛书) · SparkContext的初始化 理解等级:未标注
    • 2574.a 异步清理越界对象 主题成员 Spark内核设计的艺术_架构设计与实现 (大数据技术丛书) · SparkContext的初始化 理解等级:未标注
    • 2574.b 事件日志可回放 主题成员 Spark内核设计的艺术_架构设计与实现 (大数据技术丛书) · SparkContext的初始化 理解等级:未标注
    • 2574.d 依赖先分发 主题成员 Spark内核设计的艺术_架构设计与实现 (大数据技术丛书) · SparkContext的初始化 理解等级:未标注
  • 展开或收起下级: 2575 运行环境箱 主题成员 Spark内核设计的艺术_架构设计与实现 (大数据技术丛书) · Spark执行环境 理解等级:未标注
    • 2575.b 消息集中路由 主题成员 Spark内核设计的艺术_架构设计与实现 (大数据技术丛书) · Spark执行环境 理解等级:未标注
    • 2575.c Inbox串行消息 主题成员 Spark内核设计的艺术_架构设计与实现 (大数据技术丛书) · Spark执行环境 理解等级:未标注
    • 2575.e Shuffle位置账本 主题成员 Spark内核设计的艺术_架构设计与实现 (大数据技术丛书) · Spark执行环境 理解等级:未标注
    • 2575.f 提交协调去重 主题成员 Spark内核设计的艺术_架构设计与实现 (大数据技术丛书) · Spark执行环境 理解等级:未标注
  • 展开或收起下级: 2576 BlockManager单元 主题成员 Spark内核设计的艺术_架构设计与实现 (大数据技术丛书) · 存储体系 理解等级:未标注
    • 2576.a Driver管位置 主题成员 Spark内核设计的艺术_架构设计与实现 (大数据技术丛书) · 存储体系 理解等级:未标注
    • 2576.c 磁盘是后备层 主题成员 Spark内核设计的艺术_架构设计与实现 (大数据技术丛书) · 存储体系 理解等级:未标注
    • 2576.d 存储内存池 主题成员 Spark内核设计的艺术_架构设计与实现 (大数据技术丛书) · 存储体系 理解等级:未标注
    • 2576.e 统一内存软界 主题成员 Spark内核设计的艺术_架构设计与实现 (大数据技术丛书) · 存储体系 理解等级:未标注
    • 2576.f 缓存需要降级 主题成员 Spark内核设计的艺术_架构设计与实现 (大数据技术丛书) · 存储体系 理解等级:未标注
  • 展开或收起下级: 2577 血缘恢复计算 主题成员 Spark内核设计的艺术_架构设计与实现 (大数据技术丛书) · 调度系统 理解等级:未标注
    • 2577.a 窄依赖可流水线 主题成员 Spark内核设计的艺术_架构设计与实现 (大数据技术丛书) · 调度系统 理解等级:未标注
    • 2577.b 宽依赖切阶段 主题成员 Spark内核设计的艺术_架构设计与实现 (大数据技术丛书) · 调度系统 理解等级:未标注
    • 展开或收起下级: 2577.c DAG按Shuffle切 主题成员 Spark内核设计的艺术_架构设计与实现 (大数据技术丛书) · 调度系统 理解等级:未标注
    • 2577.d 任务调度分资源 主题成员 Spark内核设计的艺术_架构设计与实现 (大数据技术丛书) · 调度系统 理解等级:未标注
    • 2577.e TaskSet管重试 主题成员 Spark内核设计的艺术_架构设计与实现 (大数据技术丛书) · 调度系统 理解等级:未标注
    • 2577.f 本地性等待权衡 主题成员 Spark内核设计的艺术_架构设计与实现 (大数据技术丛书) · 调度系统 理解等级:未标注
    • 2577.g 推测慢任务 主题成员 Spark内核设计的艺术_架构设计与实现 (大数据技术丛书) · 调度系统 理解等级:未标注
    • 2577.i RDD的"弹性"含义与血统(lineage)容错机制 主题成员 大数据技术体系详解_原理、架构与实践 · DAG计算引擎Spark 理解等级:未标注
  • 展开或收起下级: 2578 任务内存隔离 主题成员 Spark内核设计的艺术_架构设计与实现 (大数据技术丛书) · 计算引擎 理解等级:未标注
    • 2578.a 消费者主动溢写 主题成员 Spark内核设计的艺术_架构设计与实现 (大数据技术丛书) · 计算引擎 理解等级:未标注
    • 2578.b Tungsten降开销 主题成员 Spark内核设计的艺术_架构设计与实现 (大数据技术丛书) · 计算引擎 理解等级:未标注
    • 2578.c TaskContext现场 主题成员 Spark内核设计的艺术_架构设计与实现 (大数据技术丛书) · 计算引擎 理解等级:未标注
    • 2578.d MapTask写位置 主题成员 Spark内核设计的艺术_架构设计与实现 (大数据技术丛书) · 计算引擎 理解等级:未标注
    • 2578.e ResultTask收尾 主题成员 Spark内核设计的艺术_架构设计与实现 (大数据技术丛书) · 计算引擎 理解等级:未标注
    • 2578.f 索引分离数据 主题成员 Spark内核设计的艺术_架构设计与实现 (大数据技术丛书) · 计算引擎 理解等级:未标注
  • 展开或收起下级: 2579 Master管资源 路径上下文 Spark内核设计的艺术_架构设计与实现 (大数据技术丛书) · 部署模式 理解等级:未标注
    • 2579.c Executor多跳启动 主题成员 Spark内核设计的艺术_架构设计与实现 (大数据技术丛书) · 部署模式 理解等级:未标注
    • 2579.d 退出分两类 主题成员 Spark内核设计的艺术_架构设计与实现 (大数据技术丛书) · 部署模式 理解等级:未标注
    • 展开或收起下级: 2579.e YARN分层调度 路径上下文 Spark内核设计的艺术_架构设计与实现 (大数据技术丛书) · 部署模式 理解等级:未标注
  • 展开或收起下级: 2580 数据源可插拔 路径上下文 Spark内核设计的艺术_架构设计与实现 (大数据技术丛书) · Spark API 理解等级:未标注
    • 展开或收起下级: 2580.a 检查点截血缘 主题成员 Spark内核设计的艺术_架构设计与实现 (大数据技术丛书) · Spark API 理解等级:未标注
    • 展开或收起下级: 2580.b Dataset双视角 主题成员 Spark内核设计的艺术_架构设计与实现 (大数据技术丛书) · Spark API 理解等级:未标注
    • 展开或收起下级: 2580.c 统一会话入口 主题成员 Spark内核设计的艺术_架构设计与实现 (大数据技术丛书) · Spark API 理解等级:未标注
    • 展开或收起下级: 2580.d Action触发执行 主题成员 Spark内核设计的艺术_架构设计与实现 (大数据技术丛书) · Spark API 理解等级:未标注
  • 展开或收起下级: 2852 MapReduce分治 路径上下文 分布式架构原理与实践 · 分布式计算 理解等级:未标注
  • 展开或收起下级: 3103 微批把连续流转成RDD序列 路径上下文 实时流计算系统设计与实现 · 第6章 开源流计算框架 理解等级:中级
  • 3134 广播与累加器的共享边界 主题成员 大数据技术体系详解_原理、架构与实践 · DAG计算引擎Spark 理解等级:中级

未编号或编号待整理

  • Spark避开GC 理解等级:未标注

    持久内存架构与工程实践 · 持久内存在大数据中的应用

  • PMoF改写Shuffle 理解等级:未标注

    持久内存架构与工程实践 · 持久内存在大数据中的应用

来源书籍

主题索引

过载保护与优雅降级

比较限流、减载、退避重试、分级依赖与防御成本的过载应对手段。

386 张卡片 · 68 本书

主题索引

缓存架构与失效问题

比较缓存穿透、雪崩、热点等问题的成因与应对方案。

345 张卡片 · 58 本书

主题索引

容量规划与资源调度

比较冗余容量、故障域、逻辑与物理资源解耦等容量规划与调度方法。

344 张卡片 · 74 本书

主题索引

远程调用与REST设计

比较 RPC 要解决的基本问题与历代框架取舍,以及 REST 的资源抽象、统一接口、成熟度与局限。

303 张卡片 · 53 本书

主题索引

大数据计算范式

比较批处理、流式、交互式查询、图计算、分布式机器学习与增量计算的计算模型与取舍。

298 张卡片 · 32 本书

主题索引

并发任务与同步原语

比较线程/任务抽象、异步结果传递、原子与同步手段的语义差异和生命周期约束。

215 张卡片 · 41 本书