知识卡片
BlockManager单元
Spark的存储体系由分布在Driver和各Executor上的BlockManager组成:每个BlockManager管理本地的数据块(Block),同时通过RPC与Driver上的主端点协作,注册自己、上报Block变化、查询Block位置;Driver也能通过每个BlockManager的从端点下达删除等命令。数据分散存放,元数据集中协调,见[[Driver管位置]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《Spark内核设计的艺术:架构设计与实现 (大数据技术丛书)》第6章《存储体系》(源文件:_epub-src/EPUB/text00105.html)
- 结论依据:原文说明Driver与Executor上的BlockManager通过BlockManagerMaster与Driver上的BlockManagerMasterEndpoint通信(注册、更新Block信息、获取Block位置),每个BlockManager还有自己的BlockManagerSlaveEndpoint接收Driver下达的命令。
- 原始内容:1)BlockManagerMaster:代理BlockManager与Driver上的BlockManagerMasterEndpoint通信。