返回主题:Spark内核执行机制

知识卡片

普通读书笔记卡 · 2576

BlockManager单元

理解等级:未标注

Spark的存储体系由分布在Driver和各Executor上的BlockManager组成:每个BlockManager管理本地的数据块(Block),同时通过RPC与Driver上的主端点协作,注册自己、上报Block变化、查询Block位置;Driver也能通过每个BlockManager的从端点下达删除等命令。数据分散存放,元数据集中协调,见[[Driver管位置]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《Spark内核设计的艺术:架构设计与实现 (大数据技术丛书)》第6章《存储体系》(源文件:_epub-src/EPUB/text00105.html) - 结论依据:原文说明Driver与Executor上的BlockManager通过BlockManagerMaster与Driver上的BlockManagerMasterEndpoint通信(注册、更新Block信息、获取Block位置),每个BlockManager还有自己的BlockManagerSlaveEndpoint接收Driver下达的命令。 - 原始内容:1)BlockManagerMaster:代理BlockManager与Driver上的BlockManagerMasterEndpoint通信。