知识卡片
纠删码冷数据
三副本提高可用性和读并发,但存储成本高。纠删码用校验块替代完整副本,更适合冷数据;修复时需要读多个块并计算,节省空间的代价是恢复和读取复杂度。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第8章 分布式文件系统
- · 附录B 延伸阅读
原书出处 · 2 处
- 延伸阅读 · 查看原书依据
为了增加存储系统的可靠性和数据的可用性,经常使用数据备份来达到这一点,工业界通常的做法是对数据做三备份。但是数据备份带来的缺点是明显增加存储成本。纠删码可以缓解这种情况,通过增加部分数据冗余而非多备份来获得数据的可靠存储,目前很多实际的大数据存储系统都采取了多备份和纠删码相结合的技术方案,热点数据仍然采取多备份,长尾冷门数据采取纠删码。Reed-Solomon编码是最常用的纠删码,比如,Google的GFS第二代系统Colossus以及Facebook的HDFS-RAID都采用RS编码。本论文非常通俗易懂地介绍了RS编码的原理和实现机制。
- 分布式文件系统 · 查看原书依据
一种常见的做法是:对于热点数据,在大规模存储系统中仍然保留3个备份,而对于冷数据,则只保留1份数据,通过纠删码来保证数据的可靠性。之所以不对所有数据都采用纠删码的方式,是因为备份数据除了能够增加数据的可用性外,还可以提升数据的并发读取效率,所以对于热点数据用多备份的方式比较合适。
参考来源
- 位置:《大数据日知录:架构与算法》第8章《分布式文件系统》"8.5 纠删码(Erasure Code)"一节(源文件:_epub-src/OEBPS/text00013.html)
- 结论依据:原文明确"数据备份带来的缺点是增加存储成本……直接增加了200%的存储成本","对于热点数据,在大规模存储系统中仍然保留3个备份,而对于冷数据,则只保留1份数据,通过纠删码来保证数据的可靠性……备份数据除了能够增加数据的可用性外,还可以提升数据的并发读取效率,所以对于热点数据用多备份的方式比较合适"。
- 原始内容:数据备份带来的缺点是增加存储成本,本来应该存储1份的数据现在存储3份,直接增加了200%的存储成本……对于热点数据,在大规模存储系统中仍然保留3个备份,而对于冷数据,则只保留1份数据,通过纠删码来保证数据的可靠性。之所以不对所有数据都采用纠删码的方式,是因为备份数据除了能够增加数据的可用性外,还可以提升数据的并发读取效率