返回主题:线程与任务抽象

此卡片不在当前主题的阅读序列中,可返回主题继续阅读。

知识卡片

普通读书笔记卡 · 2575

运行环境箱

理解等级:未标注

每个Executor都有自己的执行环境SparkEnv,它把RPC环境、序列化、广播、存储体系(BlockManager)、Shuffle输出跟踪、度量和输出提交协调器等组件装在一起。任务在Executor上存数据、做计算、与其他节点通信,都通过这套环境。Driver也有SparkEnv,但它与Executor的关系更紧密:任务真正依赖的是这一整箱协作组件。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《Spark内核设计的艺术:架构设计与实现 (大数据技术丛书)》第5章《Spark执行环境》(源文件:_epub-src/EPUB/text00074.html) - 结论依据:原文说明所有Executor都有自己的执行环境SparkEnv,有了它才能存储数据、利用计算引擎处理任务、在节点间通信,SparkEnv提供多种内部组件且与Executor关系更紧密。 - 原始内容:所有的Executor都有自己的Spark执行环境SparkEnv。有了SparkEnv,就可以将数据存储在存储体系中;就能利用计算引擎对计算任务进行处理,就可以在节点间进行通信等。