知识卡片
纠删码提升空间利用率
大数据存储用纠删码替代Hadoop传统的三副本冗余,以更少冗余获得同等可靠性,从而大幅抬高有效空间利用率。典型如4+2冗余比,空间利用率可达66%,而三副本仅33%,相当于提升一倍。用途是在PB级冷/温数据存储中压低每比特成本。边界是:纠删码的可靠性与重建开销取决于数据块与校验块配比,校验块越多安全性越高但可用空间越低;且纠删码重建需读多块、对I/O有额外压力,不适合对延迟极敏感的热数据。反例是仍用三副本存日志留存类低成本诉求数据,浪费约2/3空间。
[[运营商大数据存算分离]] 中纠删码是存储层核心技术之一。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 存储解决方案 13.1.1 运营商大数据解决方案 · 查看原书依据
采用纠删码方式存储数据,相比于Hadoop传统三副本技术,存储利用率大幅提升。例如,采用纠删码4+2的冗余比,空间利用率可达66%,相比三副本33%的空间利用率,提升1倍。
参考来源
- 位置:《数据存储架构与技术(第2版)》第13章《13.1.1 运营商大数据解决方案》(源文件:extracted/数据存储架构与技术(第2版)/_epub-src/converter-master/example/312279/241.html)
- 结论依据:原文以"纠删码4+2的冗余比,空间利用率可达66%,相比三副本33%的空间利用率,提升1倍"具体说明纠删码相较三副本在存储利用率上的优势。
- 原始内容:采用纠删码方式存储数据,相比于Hadoop传统三副本技术,存储利用率大幅提升。例如,采用纠删码4+2的冗余比,空间利用率可达66%,相比三副本33%的空间利用率,提升1倍。