知识卡片

普通读书笔记卡 · 2580.c

统一会话入口

理解等级:未标注

SparkSession是Spark 2.0起的统一入口,但它不是新引擎,而是对SparkContext、SQLContext和DataFrame相关能力的一层封装,底层仍是SparkContext。通过构建器创建,若已有未停止的默认会话就复用它并更新配置。入口统一给了用户更稳定的操作面,但不意味着RDD与DataFrame的执行路径和性能特征相同。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《Spark内核设计的艺术:架构设计与实现 (大数据技术丛书)》第10章《Spark API》(源文件:_epub-src/EPUB/text00304.html) - 结论依据:原文认为SparkSession并非新创造,只是对SparkContext、SQLContext及DataFrame等的一层封装,由构建器创建,已有未停止的默认会话时复用并设置选项。 - 原始内容:根据SparkSession的属性,笔者认为SparkSession并非是一个新创造的东西,它不过是对SparkContext、SQLContext及DataFrame等的一层封装。