知识卡片
TFS远端缓存减轻元数据负载
TFS 客户端先缓存 block 到 DataServer 的映射,减少 NameServer 查询;但集群有数千万个 block,客户端内存有限,本地命中率仍低。书中再把映射缓存到远端 tair,绝大多数读请求由该层命中,无须经过 NameServer。分层缓存以一次远端访问换取更大容量和更低元数据服务负载。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《大数据时代的IT架构设计》第4篇《淘宝海量文件存储实践》"存储机制"(源文件:
_epub-src/OEBPS/text00021.html)
- 结论依据:原文说明Client会把block到DataServer的映射关系缓存到本地以降低NameServer
负载,但因客户端可用内存有限、集群block数量达千万级导致本地缓存命中率不高,因此
TFS还支持把该映射关系缓存到远端的tair分布式存储中,应用tair缓存后命中率非常高,
直接支撑本卡片关于缓存分层解法的结论。
- 原始内容:为了提高Client读取文件的效率并降低NameServer的负载,Client会将block到
DataServer的映射关系缓存到本地……在实际应用中,通常客户端能使用的系统资源比较有限,
能够用于本地缓存的内存并不大,而集群中block的数量有数千万,从而导致本地缓存的命中率
并不高,为此TFS还支持远端缓存,将block到DataServer的映射关系缓存在tair中……应用
tair缓存的命中率非常高,使得绝大部分的读请求都不需要经过NameServer。