知识卡片

普通读书笔记卡 · 7275.h · 生成模型:Hy3

纠删码低冗余容错

理解等级:中级

纠删码(Erasure Coding)以低存储开销获高容错:用 k(数据块数)和 m(校验块数)两个参数,编码时把 k 个数据块算出 m 个同尺寸校验块,组成一个含 k+m 个块的“条带”;任一条带只要剩任意 k 个块即可解码还原原数据,即容忍任意 m 个块失效。最具代表性的是 RS(Reed-Solomon)码,可灵活设 k、m,被 Hadoop、Ceph、Azure 等广泛采用。

数学上,编码等价于有限域矩阵乘法:数据向量乘编码矩阵得到编码块。据此分系统型(前 k 块即原数据,可直接读、免解码)与非系统型(全异于原数据,读前须解码)。

边界:纠删码修复需取回 k 个块并做计算,网络与 I/O 开销被放大;故多用于冷数据备份,而非高并发热数据。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 存储可靠性 9.4.2 纠删码原理 · 查看原书依据

      纠删码(Erasure Coding) [25-28] 是一种具有低存储开销和高容错能力的数据编码技术。纠删码通过 和 两个简单参数设置其存储效率和容错能力,并利用编码(即计算额外冗余数据)和解码(即修复原数据)等操作实现原始数据和冗余数据之间的相互转换。

    参考来源

    - 位置:《数据存储架构与技术(第2版)》第9章《9.4.2 纠删码原理》(源文件:extracted/数据存储架构与技术(第2版)/_epub-src/converter-master/example/312279/180.html) - 结论依据:原文给出纠删码以 k、m 编解码、容忍 m 个块失效及系统型/非系统型划分,支撑原理。 - 原始内容:纠删码(Erasure Coding) [25-28] 是一种具有低存储开销和高容错能力的数据编码技术。纠删码通过 和 两个简单参数设置其存储效率和容错能力,并利用编码(即计算额外冗余数据)和解码(即修复原数据)等操作实现原始数据和冗余数据之间的相互转换。