返回主题:Spark内核执行机制

知识卡片

普通读书笔记卡 · 2580.b

Dataset双视角

理解等级:未标注

Dataset是某类领域对象的强类型集合,既可以用函数式方式(map、filter)操作,也可以用关系式方式(select、join)操作;当元素类型是通用的Row时,它就是DataFrame。一套抽象同时覆盖对象编程和关系查询,读取各种格式的数据后都能得到它。强类型带来编译期检查,Row则更灵活。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《Spark内核设计的艺术:架构设计与实现 (大数据技术丛书)》第10章《Spark API》(源文件:_epub-src/EPUB/text00302.html) - 结论依据:原文说明Dataset是特定领域对象的强类型集合,可通过功能或关系操作并行转换,泛型为Row时可作为DataFrame;DataFrameReader可把各种格式数据转为Dataset或DataFrame。 - 原始内容:Dataset是特定领域对象的强类型集合,可通过功能或关系操作进行并行转换。当Dataset的泛型类型是Row时,Dataset还可以作为DataFrame。