知识卡片
统一会话入口
SparkSession是Spark 2.0起的统一入口,但它不是新引擎,而是对SparkContext、SQLContext和DataFrame相关能力的一层封装,底层仍是SparkContext。通过构建器创建,若已有未停止的默认会话就复用它并更新配置。入口统一给了用户更稳定的操作面,但不意味着RDD与DataFrame的执行路径和性能特征相同。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《Spark内核设计的艺术:架构设计与实现 (大数据技术丛书)》第10章《Spark API》(源文件:_epub-src/EPUB/text00304.html)
- 结论依据:原文认为SparkSession并非新创造,只是对SparkContext、SQLContext及DataFrame等的一层封装,由构建器创建,已有未停止的默认会话时复用并设置选项。
- 原始内容:根据SparkSession的属性,笔者认为SparkSession并非是一个新创造的东西,它不过是对SparkContext、SQLContext及DataFrame等的一层封装。