知识卡片
写管道故障恢复
写管道中某个数据节点出错时,客户端先关闭应答处理器和到原管道的连接,把ackQueue中未确认的数据包移回dataQueue;再把故障节点移出管道成员,选一个主数据节点调用recoverBlock()恢复数据块,然后重建管道并重发这些数据包。这样即便某节点失效,写入仍能继续。发散:故障恢复要先保住“未确认”的那部分数据。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《Hadoop技术内幕:深入解析Hadoop Common和HDFS架构设计与实现原理》第9章《HDFS客户端》(源文件:_epub-src/EPUB/text00135.html)
- 结论依据:原文说明管道出错后关闭相关资源、将ackQueue数据包移回dataQueue、移除故障节点并通过recoverBlock()恢复,从而继续写文件。
- 原始内容:由于数据流管道上已经发现错误,所以和管道相关的资源,如应答处理器(在DataStreamer.run()中被关闭),到原有数据流管道的连接(blockStream和blockReplyStream)等都应该关闭,队列ackQueue中的数据包需要移动到dataQueue中,供数据块恢复使用。……接下来,需要将出现故障的数据节点从数据流管道成员列表中移除,然后选择一个恢复的主数据节点,通过该节点的ClientDatanodeProtocol远程接口的recoverBlock()方法,启动数据块恢复过程。