知识卡片

普通读书笔记卡 · 2580.b.1

DataFrame/Dataset为何在RDD之上再造一层抽象

理解等级:未标注

RDD是Spark最底层的抽象,但它有一个根本缺陷——没有元信息,即引擎不知道RDD里存的每个字段叫什么、是什么类型,用户只能靠下标(如x(0)、x(1))访问数据。这个缺陷造成两个实际问题:一是程序可读性差——统计”同姓名用户的平均年龄”这样一句话能说清的需求,写成基于下标的RDD代码后,大多数人短时间内很难看懂它在干什么,而如果RDD带有列名和类型信息,同样的逻辑一句SQL(SELECT name, avg(age) FROM people GROUP BY name)就能表达清楚;二是优化空间受限——RDD API足够底层灵活,但代价是优化责任全部压在用户身上,引擎因为不知道数据的结构特征,无法像关系型数据库那样自动做查询优化(比如判断哪些中间结果被重复访问该缓存、哪些计算逻辑重复该合并)。Spark SQL的解法是给RDD”贴标签”:DataFrame相当于一张关系型数据表(拥有表名、列名和数据类型),Dataset是比DataFrame更进一步的强类型版本(DataFrame本质上是Dataset[Row]的特例),两者都能被优化器Catalyst理解并自动做基于代价的优化(生成执行计划、代码生成、向量化等),最终仍会被转换回底层RDD表达形式去执行。可迁移启发:一个底层API足够灵活但难以被自动优化的通用现象是”缺乏结构化元信息”——当发现用户既抱怨”代码看不懂”又抱怨”优化全靠自己”时,在底层抽象之上叠加一层携带结构/类型元信息的高级抽象(同时保留向下转换回底层API的能力),往往能同时缓解这两个问题。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据技术体系详解:原理、架构与实践》第11章《DAG计算引擎Spark》之"11.6 DataFrame、Dataset与SQL"(源文件:_epub-src/OEBPS/text00092.html) - 结论依据:原文说明"RDD存在明显的局限性:无元信息……由于RDD缺乏元信息,基于RDD的Spark程序只能通过下标方式引用数据,这使得程序不易理解……如果为RDD赋予元信息,将RDD转换成一张数据表……则可以使用SQL通过简单易懂的方式表达……由于RDD不包含元信息,Spark引擎无法利用数据特征自动优化程序。如果为RDD赋予元信息,则RDD变成类似于关系型数据库中的数据表,进而可以引入类似关系数据库引擎的查询优化机制自动对代码逻辑进行优化", 直接支撑本卡关于DataFrame/Dataset存在理由的结论。 - 原始内容:Dataset是由一组强类型的面向特定领域的JVM对象组成的分布式数据集合。它不仅具备RDD的优点(比如强类型、分布式等),也能够通过优化器(Catalyst)自动对程序进行调优。