← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 7279.a · 生成模型:Claude Hy3

纠删码提升空间利用率

理解等级:中级

大数据存储用纠删码替代Hadoop传统的三副本冗余,以更少冗余获得同等可靠性,从而大幅抬高有效空间利用率。典型如4+2冗余比,空间利用率可达66%,而三副本仅33%,相当于提升一倍。用途是在PB级冷/温数据存储中压低每比特成本。边界是:纠删码的可靠性与重建开销取决于数据块与校验块配比,校验块越多安全性越高但可用空间越低;且纠删码重建需读多块、对I/O有额外压力,不适合对延迟极敏感的热数据。反例是仍用三副本存日志留存类低成本诉求数据,浪费约2/3空间。

[[运营商大数据存算分离]] 中纠删码是存储层核心技术之一。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据存储架构与技术(第2版)》第13章《13.1.1 运营商大数据解决方案》(源文件:extracted/数据存储架构与技术(第2版)/_epub-src/converter-master/example/312279/241.html) - 结论依据:原文以"纠删码4+2的冗余比,空间利用率可达66%,相比三副本33%的空间利用率,提升1倍"具体说明纠删码相较三副本在存储利用率上的优势。 - 原始内容:采用纠删码方式存储数据,相比于Hadoop传统三副本技术,存储利用率大幅提升。例如,采用纠删码4+2的冗余比,空间利用率可达66%,相比三副本33%的空间利用率,提升1倍。