知识卡片

结构图卡 · 3124

HDFS分层存储:异构存储介质与集中式缓存管理

理解等级:未标注

HDFS早期只支持单一磁盘存储,后来演化为支持多种存储介质并存,让不同”热度”的数据可以放在不同代价/性能的介质上:ARCHIVE(高密度低功耗,适合冷数据长期归档)、DISK(磁盘,默认介质)、SSD(固态硬盘)、RAM_DISK(数据先写入内存,再异步落一份到磁盘);速度、容量与成本取决于具体设备及部署。用户可以按文件粒度设置存储策略,且策略里内置了”回退”机制——当首选存储介质空间不足时,自动降级使用备选介质完成写入,而不是直接失败。在冷热数据分层之上,HDFS又提供了集中式缓存管理,让用户能显式指定某些目录/文件常驻off-heap内存,这解决了操作系统自带页缓存的三个局限:一是操作系统页缓存不能按HDFS副本数精确指定哪些副本驻留,而集中式缓存可以只指定n份副本中的m份被缓存,省下n-m份的内存;二是操作系统缓存用通用的置换算法管理内存,热数据仍可能被换出导致访问延迟忽高忽低,集中式缓存提供显式驻留管理,可降低被通用置换策略清除的风险;三是被缓存的数据块因为校验码已提前算好,在书中所述校验码已计算的条件下,配合zero-copy新API可降低客户端开销,同时NameNode统一掌握哪些数据块被缓存在哪些节点,可以据此把计算任务调度到缓存命中的节点上,进一步减少数据搬运。可迁移启发:异构存储介质分层解决的是”不同数据该放多贵的硬件”,集中式缓存解决的是”同一份热数据该不该、该在多大程度上被钉在内存里”,这是两个独立但可以叠加使用的性能杠杆,前者按数据整体生命周期做粗粒度分层,后者按访问热度做细粒度加速。

结构图:

flowchart TB
  A["HDFS分层存储体系"]
  A --> B["异构存储介质(按文件设置存储策略,支持空间不足时回退)"]
  B --> B1["ARCHIVE:高密度低功耗,冷数据归档"]
  B --> B2["DISK:默认介质"]
  B --> B3["SSD:固态介质,性能视部署而定"]
  B --> B4["RAM_DISK:写入内存,异步落盘"]
  A --> C["集中式缓存管理(NameNode统一管理off-heap内存)"]
  C --> C1["按副本粒度指定缓存(n份中缓存m份,省内存)"]
  C --> C2["显式缓存副本,减少通用置换干扰"]
  C --> C3["配合zero-copy API+调度到缓存命中节点,减少数据搬运"]
这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据技术体系详解:原理、架构与实践》第6章《分布式文件系统》之"6.4.3 异构存储介质"与"6.4.4 集中式缓存管理"(源文件:_epub-src/OEBPS/text00044.html) - 结论依据:原文说明"HDFS支持多种常用存储类型,包括:ARCHIVE……DISK……SSD……RAM_DISK……当使用集中式缓存时,用户可以指定n个副本中的m个被缓存,可以节约n-m的内存……当使用操作系统缓存时,操作系统使用自带的内存置换算法管理内存,此时容易让热数据不断写入内存,之后从内存中清除,导致数据访问的不稳定……上层计算框架的调度器查询数据块的缓存列表,并通过一定的调度策略将任务尽可能调度到缓存块所在节点上",直接支撑本卡结构图与结论。 - 原始内容:当数据块被DataNode缓存后,HDFS以使用一个高效的、支持zero-copy的新API加快读速度,这是因为缓存中数据块的校验码已经被计算过,当使用新API时,客户端开销基本是零。