知识卡片
Dataset双视角
Dataset是某类领域对象的强类型集合,既可以用函数式方式(map、filter)操作,也可以用关系式方式(select、join)操作;当元素类型是通用的Row时,它就是DataFrame。一套抽象同时覆盖对象编程和关系查询,读取各种格式的数据后都能得到它。强类型带来编译期检查,Row则更灵活。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《Spark内核设计的艺术:架构设计与实现 (大数据技术丛书)》第10章《Spark API》(源文件:_epub-src/EPUB/text00302.html)
- 结论依据:原文说明Dataset是特定领域对象的强类型集合,可通过功能或关系操作并行转换,泛型为Row时可作为DataFrame;DataFrameReader可把各种格式数据转为Dataset或DataFrame。
- 原始内容:Dataset是特定领域对象的强类型集合,可通过功能或关系操作进行并行转换。当Dataset的泛型类型是Row时,Dataset还可以作为DataFrame。