← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 1773.o

局部恢复用额外冗余换IO

理解等级:高级

LRC把数据分组加入局部校验,使一个块失效时只读少量同组块,而非读完整RS数据带。块局部性描述修复所需其他块数,最小码距d对应任意d−1个擦除可恢复的能力,两个指标不同。局部修复并非免费,通常以更多冗余或特定故障模式下的恢复限制换网络与磁盘IO。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 2 处

    • 延伸阅读 · 查看原书依据

      在分布式数据存储应用环境下,RS编码有其固有的缺陷:在恢复少量毁损的数据块时,需要大量的网络传输来获得其他所有的数据块,很容易导致网络带宽阻塞。LRC的提出就是为了解决这一难题的,LRC能够在可靠性与RS码大致相同的情况下,减少恢复损毁数据所需的数据块数量,也就缓解了网络传输过多的问题。本论文就是Facebook的研发人员提出的一个典型的LRC编码。除此之外,微软的AWS云存储系统也采取了类似的思路。

    • 分布式文件系统 · 查看原书依据

      为了理解LRC,首先需要了解“块局部性”(Block Locality)和“最小码距”(Minimum Code Distance)概念。所谓“块局部性”,指的是对于某个纠删码来说,要对一个数据块编码,最多需要多少其他的数据块。这里我们用r 来表示“块局部性”,这个概念表达了恢复某个数据块时需要的其他数据块的个数。“最小码距”则是指对于切割成n 块的文件,最少损毁多少块数据文件就不可恢复了。

    参考来源

    - 位置:《大数据日知录:架构与算法》第8章《分布式文件系统》,原文段落253(OEBPS/text00013.html)。 - 结论依据:本卡说明书中机制及其适用条件;出版时版本、目标数字与架构状态不作为当前普遍保证。 - 原始内容:为了理解LRC,首先需要了解“块局部性”(Block Locality)和“最小码距”(Minimum Code Distance)概念。所谓“块局部性”,指的是对于某个纠删码来说,要对一个数据块编码,最多需要多少其他的数据块。这里我们用r 来表示“块局部性”,这个概念表达了恢复某个数据块时需要的其他数据块的个数。“最小码距”则是指对于切割成n 块的文件,最少损毁多少块数据文件就不可恢复了。