返回主题:Spark内核执行机制

知识卡片

普通读书笔记卡 · 2576.c

磁盘是后备层

理解等级:未标注

内存优先的系统仍需要可靠的磁盘后备:DiskStore负责把Block写入磁盘,DiskBlockManager负责把逻辑Block映射到具体的目录和文件,采用一级目录加若干二级目录的结构分散文件。内存不足、缓存被驱逐、Shuffle输出,最后都要落到这一层。Spark 2.0起不再为各存储实现保留统一接口,也去掉了Tachyon存储,磁盘层直接服务于存储体系。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《Spark内核设计的艺术:架构设计与实现 (大数据技术丛书)》第6章《存储体系》(源文件:_epub-src/EPUB/text00110.html、_epub-src/EPUB/text00113.html) - 结论依据:原文说明DiskStore负责将Block存储到磁盘并依赖DiskBlockManager;DiskBlockManager为逻辑Block与磁盘写入位置建立映射;Spark 2.0起取消TachyonStore与BlockStore统一接口。 - 原始内容:DiskBlockManager是存储体系的成员之一,它负责为逻辑的Block与数据写入磁盘的位置之间建立逻辑的映射关系。……DiskStore负责将Block存储到磁盘。由于DiskStore依赖于DiskBlockManager的服务,所以我们在上一节先介绍了DiskBlockManager。