返回主题:存储常用数据结构

知识卡片

普通读书笔记卡 · 2811

单例检查去重

理解等级:未标注

去重让重复数据在系统里只保留一个实体,例如一个被转发 100 次的 1MB 邮件附件,备份到对象存储时只存一份。书中用对象散列值做单例检查:接口服务收到 PUT 后先按散列定位,若数据服务中已存在,就跳过数据上传,只给对象新增一个元数据版本;不存在才把数据写入数据服务。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《分布式对象存储——原理、架构及Go语言实现》第4章《数据校验和去重》(源文件:_epub-src/OEBPS/text00009.html) - 结论依据:原文说明去重是消除重复数据多余副本的技术,让重复数据只保留一个实体,如邮件附件转发100次;本书基于对象散列值做单例检查(SIS):接口服务收到PUT后先定位,散列值已存在就跳过数据服务PUT、直接为对象新增元数据版本,不存在才写入数据服务。 - 原始内容:去重能够让重复数据在系统中只保留一个实体,是一个极好的节省存储空间、提升存储利用率的技术。……如果PUT对象的散列值已经存在于数据服务中,我们就会跳过之后的数据服务PUT请求,直接生成该对象的新版本插入元数据服务