知识卡片
Schema让结构化计算可优化
普通 RDD 即使声明了 Person 类型,Spark 也未必知道对象内部有哪些字段。DataFrame 把数据组织成有名称、类型的列;在 Scala API 中,它是 Dataset[Row] 的别名。Dataset 还可保存强类型对象。结构信息使 Spark SQL 能理解列和运算,从而做 RDD API 缺少的结构化优化。接 Kafka 数据后,若要按字段查询,应先形成可信的 Schema,而不是仅把原始字节放入 RDD。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《深入理解Kafka:核心设计与实践原理 2019》第12章 12.6 节(源文件:`_epub-src/OEBPS/Text/chapter13.xhtml`)。
- 结论依据:原文对照 RDD、DataFrame、Dataset 的结构信息与类型语义,说明 Spark SQL 利用 Schema 做额外优化;Kafka 取用是依此作出的应用推论。
- 原始内容:左侧的RDD[Person]虽然以Person为类型参数,但Spark本身不了解Person类的内部结构。而右侧的DataFrame/Dataset却提供了详细的结构信息,使得Spark SQL可以清楚地知道该数据集中包含哪些列,这些列的名称是什么,它们的类型又是什么。