知识卡片

普通读书笔记卡 · 2370.e

写管道故障恢复

理解等级:未标注

写管道中某个数据节点出错时,客户端先关闭应答处理器和到原管道的连接,把ackQueue中未确认的数据包移回dataQueue;再把故障节点移出管道成员,选一个主数据节点调用recoverBlock()恢复数据块,然后重建管道并重发这些数据包。这样即便某节点失效,写入仍能继续。发散:故障恢复要先保住“未确认”的那部分数据。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《Hadoop技术内幕:深入解析Hadoop Common和HDFS架构设计与实现原理》第9章《HDFS客户端》(源文件:_epub-src/EPUB/text00135.html) - 结论依据:原文说明管道出错后关闭相关资源、将ackQueue数据包移回dataQueue、移除故障节点并通过recoverBlock()恢复,从而继续写文件。 - 原始内容:由于数据流管道上已经发现错误,所以和管道相关的资源,如应答处理器(在DataStreamer.run()中被关闭),到原有数据流管道的连接(blockStream和blockReplyStream)等都应该关闭,队列ackQueue中的数据包需要移动到dataQueue中,供数据块恢复使用。……接下来,需要将出现故障的数据节点从数据流管道成员列表中移除,然后选择一个恢复的主数据节点,通过该节点的ClientDatanodeProtocol远程接口的recoverBlock()方法,启动数据块恢复过程。