知识卡片

普通读书笔记卡 · 1773.p

历史RAID后台编码与修复

理解等级:中级

HDFS-RAID的RaidNode扫描符合条件的文件,用MapReduce生成校验文件后减少原始数据副本;BlockFixer发现损坏块,再调度恢复任务。它展示后台编码和恢复与在线文件系统的组合,恢复也消耗业务IO。此处是历史项目架构,不等于当前HDFS原生纠删码的部署命令或默认策略。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 分布式文件系统 · 查看原书依据

      1.RaidNode的主要职责是对DRFS中的文件建立和维护对应的校验数据文件。其是运行在集群中某个机器上的守护进程,它周期性地扫描HDFS中的文件,以找出需要进行RS编码的对应文件。然后通过在集群运行MR程序的方式来对文件进行编码,编码结束后,RaidNode将对应文件的备份数目降低为1。

    参考来源

    - 位置:《大数据日知录:架构与算法》第8章《分布式文件系统》,原文段落267(OEBPS/text00013.html)。 - 结论依据:本卡说明书中机制及其适用条件;出版时版本、目标数字与架构状态不作为当前普遍保证。 - 原始内容:1.RaidNode的主要职责是对DRFS中的文件建立和维护对应的校验数据文件。其是运行在集群中某个机器上的守护进程,它周期性地扫描HDFS中的文件,以找出需要进行RS编码的对应文件。然后通过在集群运行MR程序的方式来对文件进行编码,编码结束后,RaidNode将对应文件的备份数目降低为1。