返回主题:框架与集成:Storm、Spark 与消息系统怎么接

知识卡片

普通读书笔记卡

Schema让结构化计算可优化

理解等级:中级

普通 RDD 即使声明了 Person 类型,Spark 也未必知道对象内部有哪些字段。DataFrame 把数据组织成有名称、类型的列;在 Scala API 中,它是 Dataset[Row] 的别名。Dataset 还可保存强类型对象。结构信息使 Spark SQL 能理解列和运算,从而做 RDD API 缺少的结构化优化。接 Kafka 数据后,若要按字段查询,应先形成可信的 Schema,而不是仅把原始字节放入 RDD。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《深入理解Kafka:核心设计与实践原理 2019》第12章 12.6 节(源文件:`_epub-src/OEBPS/Text/chapter13.xhtml`)。 - 结论依据:原文对照 RDD、DataFrame、Dataset 的结构信息与类型语义,说明 Spark SQL 利用 Schema 做额外优化;Kafka 取用是依此作出的应用推论。 - 原始内容:左侧的RDD[Person]虽然以Person为类型参数,但Spark本身不了解Person类的内部结构。而右侧的DataFrame/Dataset却提供了详细的结构信息,使得Spark SQL可以清楚地知道该数据集中包含哪些列,这些列的名称是什么,它们的类型又是什么。