知识卡片

纠删码冷数据

普通读书笔记卡 · 1773.e

内容

三副本提高可用性和读并发,但存储成本高。纠删码用校验块替代完整副本,更适合冷数据;修复时需要读多个块并计算,节省空间的代价是恢复和读取复杂度。

参考来源

- 位置:《大数据日知录:架构与算法》第8章《分布式文件系统》"8.5 纠删码(Erasure Code)"一节(源文件:_epub-src/OEBPS/text00013.html) - 结论依据:原文明确"数据备份带来的缺点是增加存储成本……直接增加了200%的存储成本","对于热点数据,在大规模存储系统中仍然保留3个备份,而对于冷数据,则只保留1份数据,通过纠删码来保证数据的可靠性……备份数据除了能够增加数据的可用性外,还可以提升数据的并发读取效率,所以对于热点数据用多备份的方式比较合适"。 - 原始内容:数据备份带来的缺点是增加存储成本,本来应该存储1份的数据现在存储3份,直接增加了200%的存储成本……对于热点数据,在大规模存储系统中仍然保留3个备份,而对于冷数据,则只保留1份数据,通过纠删码来保证数据的可靠性。之所以不对所有数据都采用纠删码的方式,是因为备份数据除了能够增加数据的可用性外,还可以提升数据的并发读取效率。