知识卡片
Context启动枢纽
Driver的初始化就是SparkContext的初始化,它必须完成才能提交作业。过程是按依赖顺序装配一组运行时部件:执行环境SparkEnv、Web UI、心跳接收器、任务调度器、DAG调度器、度量系统、事件日志、动态资源管理器、上下文清理器等。读启动顺序就能看出组件间真实的依赖关系,这比看类图更可靠。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《Spark内核设计的艺术:架构设计与实现 (大数据技术丛书)》第4章《SparkContext的初始化》(源文件:_epub-src/EPUB/text00052.html、_epub-src/EPUB/text00073.html)
- 结论依据:原文说明SparkContext初始化实际也是Driver的初始化,涉及网络通信、分布式、消息、存储、计算、缓存、度量、清理、文件服务、Web UI,按顺序创建并启动SparkEnv、SparkUI、HeartbeatReceiver、TaskScheduler、DAGScheduler、MetricsSystem等组件。
- 原始内容:SparkContext的初始化过程实际也是对Driver的初始化,这一准备工作是Spark应用程序提交与执行的前提。……初始化过程中需要创建并启动很多组件,例如,SparkEnv、SparkUI、HeartbeatReceiver、TaskScheduler、DAGScheduler、MetricsSystem、EventLoggingListener、ExecutorAllocationManager、ContextCleaner等。