返回主题:Spark内核执行机制

知识卡片

结构图卡 · 2577.i

RDD的"弹性"含义与血统(lineage)容错机制

理解等级:未标注

RDD全称弹性分布式数据集,”分布式”不是新概念(HDFS的任何一个文件本质上就是分布式数据集,被切成数据块散落在不同节点),真正让RDD区别于HDFS的是”弹性”二字:HDFS的数据始终落在磁盘上,而RDD的每个Partition可以全部存内存、全部存磁盘、部分内存部分磁盘,甚至能根据内存空闲情况动态换入换出——存储位置本身是弹性可变的,而不是固定绑死在磁盘上。更关键的是,RDD本质上只是一个逻辑概念,它不一定对应磁盘或内存里的实际物理数据,而只是记录了”这个RDD是怎么来的”——包括它依赖哪个父RDD、以及从父RDD计算出自己所用的变换方法,这种父子RDD之间的转换关系链被称为”血统”(lineage)。有了血统记录,一旦某个RDD因为机器故障或磁盘损坏丢失了,Spark不需要求助于备份副本,而是可以顺着血统链回溯到父RDD、重新执行一遍当初的计算方式,把丢失的部分数据重构出来——这是一种”用重新计算换容错”而非”用冗余存储换容错”的路线(与HDFS靠三副本冗余实现容错形成对照)。可迁移启发:当数据的产生过程本身是确定性、可重复执行的(给定同样的输入和同样的计算步骤,一定能得到同样的输出)时,记录”如何产生这份数据”(血统/计算过程)比记录”数据的多份冗余副本”是一种更省存储成本的容错思路,代价是丢失后的恢复需要重新计算、而非直接读取副本那样即时。

结构图:

flowchart TB
  A["RDD(弹性分布式数据集)"]
  A --> B["弹性:Partition可存内存/磁盘/混合,可动态置换"]
  A --> C["逻辑概念:不一定对应物理数据"]
  C --> D["血统(lineage):记录父RDD+转换方式"]
  D --> E["某Partition因故障丢失"]
  E --> F["回溯血统链→重新计算父RDD→重构丢失数据<br/>(区别于HDFS靠副本冗余容错)"]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据技术体系详解:原理、架构与实践》第11章《DAG计算引擎Spark》之"11.2.1 Spark核心概念"(源文件:_epub-src/OEBPS/text00088.html) - 结论依据:原文说明"但从一定程度上,HDFS并不具有'弹性',因为所有数据都存储在磁盘上。RDD则不同,由于它可以将Partition存储在磁盘或内存,或部分磁盘部分内存(甚至根据内存大小动态置换),因此具有'弹性'……RDD可通过一定计算方式转换成另外一种RDD(父RDD),这种通过转换而产生的RDD关系称为'血统'(lineage)。Spark通过记录RDD的血统,可了解每个RDD的产生方式……进而能够通过重算的方式构造因机器故障或磁盘损坏而丢失的RDD数据", 直接支撑本卡关于弹性含义与血统容错的结构图。 - 原始内容:RDD只是一个逻辑概念,它可能并不对应磁盘或内存中的物理数据,而仅仅是记录了RDD的由来,包括父RDD是谁,以及自己是如何通过父RDD计算得到的。