知识卡片
Blob元数据进内存
HayStack 面向图片这类读多改少 Blob,把图片元数据压缩到内存,读取时尽量只做一次磁盘访问。核心不是换存储介质,而是减少随机 I/O 次数。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第8章 分布式文件系统
- · 附录B 延伸阅读
原书出处 · 2 处
- 延伸阅读 · 查看原书依据
Haystack是Facebook公司设计开发的一种“对象存储系统”,其中的“对象”主要指用户上传的图片数据。大型商业互联网公司对于类似于Haystack这种“对象存储系统”有很大的需求,这里的“对象”往往指满足一定性质的媒体类型,类似于图片数据的存储有其自身特点,典型的特征是:一次写入,多次读取,从不更改,很少删除。很多其他类型的数据也有此种特点,比如邮件附件、视频文件以及音频文件等,一般将这种数据称为“Blob数据”,对应的存储可以称为“Blob存储系统”。因为其特点是读多改少,所以在设计这种存储系统的时候,保证读取效率是需要重点考虑的要素。目前国内的淘宝和腾讯等大型互联网公司也独立开发了类似的存储系统,其实现思路应该与Haystack系统差异不大。
- 分布式文件系统 · 查看原书依据
由于图片数据请求具有“读多改少”的特点,所以如何优化图片的读取速度是HayStack系统的设计核心。一般读取一张图片需要有两次磁盘读操作,首先从磁盘中获得图片的“元数据”,根据“元数据”从磁盘中读出图片内容。为了增加读取速度,HayStack系统的核心目标是减少读取磁盘的次数,将所有图片内容放入内存显然是不太可能的,所以可以考虑将图片的“元数据”放入内存中,因为相比图片本身内容的数据量来说,图片的“元数据”小很多,将所有图片的元数据放入内存理论上是可行的,这样就可以将两次磁盘操作减少为一次磁盘操作。
参考来源
- 位置:《大数据日知录:架构与算法》第8章《分布式文件系统》"8.3 HayStack存储系统"一节(源文件:_epub-src/OEBPS/text00013.html)
- 结论依据:原文明确"一般读取一张图片需要有两次磁盘读操作,首先从磁盘中获得图片的'元数据',根据'元数据'从磁盘中读出图片内容……HayStack系统的核心目标是减少读取磁盘的次数……考虑将图片的'元数据'放入内存中……这样就可以将两次磁盘操作减少为一次磁盘操作"。
- 原始内容:由于图片数据请求具有"读多改少"的特点,所以如何优化图片的读取速度是HayStack系统的设计核心。一般读取一张图片需要有两次磁盘读操作……为了增加读取速度,HayStack系统的核心目标是减少读取磁盘的次数……所以可以考虑将图片的"元数据"放入内存中……这样就可以将两次磁盘操作减少为一次磁盘操作。