知识卡片

普通读书笔记卡 · 2812.f

读取时识别数据降解

理解等级:中级

上传校验只能证明当时收到的数据正确,不能保证介质以后永不损坏。读取对象前再计算内容散列,与作为身份的预期散列比较,可发现存储期间逐渐发生的数据降解。示例发现不一致便清除文件和定位缓存,按不存在处理。这里校验的是本章尚未分片的完整对象;以后数据节点只保存分片,就必须改用分片自己的散列,而不能套用整对象摘要。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 2 处

    • 数据校验和去重 · 查看原书依据

      事实上这里的数据校验是用于防止存储系统的数据降解,哪怕在上传时正确的数据也有可能随着时间的流逝而逐渐发生损坏,我们会在下一章介绍数据降解的成因。

    • 数据校验和去重 · 查看原书依据

      getFile函数的输入参数是对象的散列值<hash>,它根据这个参数找到$STORAGE_ ROOT/ objects/<hash>对象文件,然后对这个对象的内容计算SHA-256散列值,并用url.PathEscape转义,最后得到的就是可用于URL的散列值字符串。

    参考来源

    - 位置:《分布式对象存储——原理、架构及Go语言实现》第4章《数据校验和去重》4.3.2(来源项目:book-sources;源文件:extracted/分布式对象存储——原理、架构及Go语言实现(异步图书)/_epub-src/EPUB/text00009.html) - 结论依据:原文明示读取校验针对随时间发生的数据损坏,并指出后续数据服务内容变化后不能再按用户对象散列校验。 - 原始内容:事实上这里的数据校验是用于防止存储系统的数据降解,哪怕在上传时正确的数据也有可能随着时间的流逝而逐渐发生损坏,我们会在下一章介绍数据降解的成因。