知识卡片

普通读书笔记卡 · 2572.d

Context屏蔽复杂性

理解等级:未标注

SparkContext是应用与集群之间的总入口:网络通信、分布式部署、消息、存储、计算引擎、度量、文件服务和Web UI都藏在它后面,开发者只调用它提供的API。后来的SparkSession提供更高层的接口,底层依然依赖SparkContext。好的框架入口不是功能堆叠,而是把必要的分布式复杂度收在里面,见[[Context启动枢纽]]。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《Spark内核设计的艺术:架构设计与实现 (大数据技术丛书)》第2章《设计理念与基本架构》(源文件:_epub-src/EPUB/text00026.html) - 结论依据:原文说明SparkContext隐藏了网络通信、分布式部署、消息通信、存储体系、计算引擎、度量系统、文件服务、Web UI等,开发者只需使用其API;SparkSession底层仍依赖SparkContext。 - 原始内容:SparkContext隐藏了网络通信、分布式部署、消息通信、存储体系、计算引擎、度量系统、文件服务、Web UI等内容,应用程序开发者只需要使用SparkContext提供的API完成功能开发。……SparkSession底层实际依然依赖于SparkContext。