知识卡片
去重与冗余不矛盾
先花力气去重、再做冗余,看似开倒车,其实两码事:去重消除的是不受控的重复,避免同一对象散落在各个节点上;冗余是在完全受控的前提下,有意增加有限份数的副本或校验数据,提高数据的稳定性。去重保证系统里只有一个实体,冗余则保证这个实体损坏时能恢复。
额外信息既可以是复制,也可以是校验数据:原书以ECC内存的附加校验说明纠正单比特错误,以RAID 1双盘副本说明一盘故障后仍可运行;Btrfs与ZFS则把校验和与复制组合起来发现并修复数据降解。校验发现错误与冗余恢复内容是相互配合的职责。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 2 处
- 数据冗余和即时修复 · 查看原书依据
去重是帮助我们避免同一个对象在系统中到处都被保存一份副本,而冗余是在完全受我们控制的情况下增加这个对象数据的稳定性。在讨论数据的冗余和修复之前,我们首先要理解保存在对象存储系统上的数据在什么情况下会丢失和不可用。
- 数据冗余和即时修复 · 查看原书依据
比如说,ECC(Error-correcting memory)内存在其每一个存储字中会额外包含存储数据的校验和,可以检测并修正一个比特的错误;RAID 1使用两个硬盘组成单个逻辑存储单元,在任何一个硬盘发生故障的情况下依然可以有效运行;Btrfs和ZFS这样的文件系统通过结合使用校验和以及数据复制这两种方式来检测并修正硬盘上的数据降解等。
参考来源
- 位置:《分布式对象存储——原理、架构及Go语言实现》第5章《数据冗余和即时修复》(源文件:_epub-src/OEBPS/text00010.html)
- 结论依据:原文说明先做去重又做冗余看似开倒车,实则两码事:去重避免同一对象在系统中到处被保存一份副本,冗余是在完全受控的情况下增加对象数据的稳定性;多副本冗余是受接口服务控制的有限副本,而不是散落在每个数据节点上。
- 原始内容:去重是帮助我们避免同一个对象在系统中到处都被保存一份副本,而冗余是在完全受我们控制的情况下增加这个对象数据的稳定性。……多副本冗余是受接口服务控制的有限副本冗余,副本对象的数量有限,而不是散落在每一个数据服务节点上。