知识卡片
内存定位缓存的代价
每次判断对象存在都访问磁盘,会让PUT去重与GET定位争用I/O。数据节点可在启动时扫描对象目录,将散列值放入内存map,此后定位只查内存;正式增加或移除对象时同步更新缓存,并用互斥锁保护并发访问。代价是对象越小、数量越多,索引内存越大,启动扫描也越慢。原书以约两千万对象估算仅44字节散列文本就需约880MB,实际map还会有额外开销。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 2 处
- 数据校验和去重 · 查看原书依据
为了减少对磁盘访问的次数,从而提高磁盘的性能,本章的数据服务定位功能仅在程序启动的时候扫描一遍本地磁盘,并将磁盘中所有的对象散列值读入内存,之后在定位的时候就不需要再次访问磁盘,只需要搜索内存就可以了。
- 数据校验和去重 · 查看原书依据
本章优化了数据服务的定位性能,通过在程序启动时扫描磁盘,一次性将全部对象缓存起来,从而避免了每次定位时的磁盘访问。这样做的好处是减免了磁盘访问的次数,从而提升磁盘的io效率,但是缺点是会占用大量的内存且拖慢节点启动速度。
参考来源
- 位置:《分布式对象存储——原理、架构及Go语言实现》第4章《数据校验和去重》4.3.2、4.6(来源项目:book-sources;源文件:extracted/分布式对象存储——原理、架构及Go语言实现(异步图书)/_epub-src/EPUB/text00009.html)
- 结论依据:原文给出一次扫描、内存map、Add/Del更新与互斥锁实现,并估算内存和启动耗时;map额外开销是按数据结构本身作的边界说明。
- 原始内容:为了减少对磁盘访问的次数,从而提高磁盘的性能,本章的数据服务定位功能仅在程序启动的时候扫描一遍本地磁盘,并将磁盘中所有的对象散列值读入内存,之后在定位的时候就不需要再次访问磁盘,只需要搜索内存就可以了。