知识卡片
HDFS的DataNode故障重构与数据块校验码检测
[[HDFS主从架构与NameNode高可用切换机制]]解决的是”元信息管理者挂掉怎么办”,而这张卡讲的是数据本身的两类故障要怎么被发现和修复,两者是HDFS容错设计的两个不同层面。DataNode故障(整个存储节点宕机):因为每个数据块本身就有多份副本存在其他DataNode上,NameNode一旦通过心跳超时发现某个DataNode失联,就直接在其他健康的DataNode上把这个节点原本负责的数据块重新复制出一份,让副本数恢复到设定水平——这是”节点级”故障的应对方式,恢复手段是重新复制。数据块损坏(节点本身在线,但某个数据块的内容本身出错,比如磁盘位翻转、写入过程被打断):DataNode在保存每个数据块时会同时生成一份校验码,读取该数据块时会重新计算一次校验码并和保存的校验码比对,一旦不一致就判定这个数据块已经损坏——这是”数据完整性级”故障,只靠”节点是否在线”是发现不了的,必须靠校验码这种主动验证机制才能发现,发现后同样是从其他正常副本重构受损部分。这两种故障检测机制的分工提示一个通用原则:节点存活监控(心跳)能发现”整节点不可用”,但发现不了”节点活着、但数据本身悄悄坏了”这种更隐蔽的问题,必须靠内容级校验(如校验码/checksum)来补上这一层,两者需要同时具备才能构成完整的容错闭环。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《大数据技术体系详解:原理、架构与实践》第6章《分布式文件系统》之"6.4.1 容错性设计"(源文件:_epub-src/OEBPS/text00044.html)
- 结论依据:原文说明"DataNode故障:每个DataNode保存了实际的数据块,这些数据块在其他DataNode上存在相同的副本。DataNode能通过心跳机制向NameNode汇报状态信息,当某个DataNode宕机后,NameNode可在其他节点上重构该DataNode上的数据块……数据块损坏:DataNode保存数据块时,会同时生成一个校验码。当存取数据块时,如果发现校验码不一致,则认为该数据块已经损坏,NameNode会通过其他节点上的正常副本重构受损的数据块",直接支撑本卡关于两类故障及其检测/恢复机制的结论。
- 原始内容:当某个DataNode宕机后,NameNode可在其他节点上重构该DataNode上的数据块,以保证每个文件的副本数在正常水平线上。