返回主题:Spark内核执行机制

知识卡片

普通读书笔记卡 · 2576.f

缓存需要降级

理解等级:未标注

内存不够放新Block时,MemoryStore会挑选符合条件的已有Block驱逐出去腾出空间;被驱逐的Block如果存储级别允许用磁盘,就写到磁盘,否则直接丢弃,下次用到时再按血缘重算。所以缓存级别决定了降级方式:只用内存的缓存可能“消失”,内存加磁盘的缓存会变慢但还在。缓存成熟的标志是能优雅降级,而不是永远命中。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《Spark内核设计的艺术:架构设计与实现 (大数据技术丛书)》第6章《存储体系》(源文件:_epub-src/EPUB/text00116.html、_epub-src/EPUB/text00124.html) - 结论依据:原文说明存储内存不足时调用MemoryStore的evictBlocksToFreeSpace腾出空间,驱逐时由BlockManager的dropFromMemory把Block从内存删除,存储级别允许写磁盘时写入磁盘。 - 原始内容:1)调用MemoryStore的evictBlocksToFreeSpace方法(见代码清单6-57),腾出numBytes-ToFree属性指定大小的空间。……此方法用于从内存中删除Block,当Block的存储级别允许写入磁盘,Block将被写入磁盘。