知识卡片
读取时识别数据降解
上传校验只能证明当时收到的数据正确,不能保证介质以后永不损坏。读取对象前再计算内容散列,与作为身份的预期散列比较,可发现存储期间逐渐发生的数据降解。示例发现不一致便清除文件和定位缓存,按不存在处理。这里校验的是本章尚未分片的完整对象;以后数据节点只保存分片,就必须改用分片自己的散列,而不能套用整对象摘要。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 2 处
- 数据校验和去重 · 查看原书依据
事实上这里的数据校验是用于防止存储系统的数据降解,哪怕在上传时正确的数据也有可能随着时间的流逝而逐渐发生损坏,我们会在下一章介绍数据降解的成因。
- 数据校验和去重 · 查看原书依据
getFile函数的输入参数是对象的散列值<hash>,它根据这个参数找到$STORAGE_ ROOT/ objects/<hash>对象文件,然后对这个对象的内容计算SHA-256散列值,并用url.PathEscape转义,最后得到的就是可用于URL的散列值字符串。
参考来源
- 位置:《分布式对象存储——原理、架构及Go语言实现》第4章《数据校验和去重》4.3.2(来源项目:book-sources;源文件:extracted/分布式对象存储——原理、架构及Go语言实现(异步图书)/_epub-src/EPUB/text00009.html)
- 结论依据:原文明示读取校验针对随时间发生的数据损坏,并指出后续数据服务内容变化后不能再按用户对象散列校验。
- 原始内容:事实上这里的数据校验是用于防止存储系统的数据降解,哪怕在上传时正确的数据也有可能随着时间的流逝而逐渐发生损坏,我们会在下一章介绍数据降解的成因。