返回主题:Spark内核执行机制

知识卡片

普通读书笔记卡 · 2576.a

Driver管位置

理解等级:未标注

Block位置的权威记录只在Driver:BlockManagerMasterEndpoint集中维护各节点BlockManager的注册信息、BlockManager与Executor的对应关系,以及每个Block存在哪里。数据可以分散在所有节点上,但位置元数据必须有统一入口,调度器才能据此做本地性决策,缓存读取才能找到副本。代价是Driver成为元数据中心,需要避免让它过载。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《Spark内核设计的艺术:架构设计与实现 (大数据技术丛书)》第6章《存储体系》(源文件:_epub-src/EPUB/text00105.html) - 结论依据:原文说明BlockManagerMasterEndpoint只存在于Driver的SparkEnv中,主要对各节点的BlockManager、BlockManager与Executor的映射关系及Block位置进行管理。 - 原始内容:BlockManagerMasterEndpoint只存在于Driver的SparkEnv中