知识卡片
写管道应答
HDFS写入沿副本链形成数据流管道,数据顺流而下,确认包由PacketResponder从下游接收后逆流向上转发。客户端收到确认,只说明管道上所有节点已接收该数据包,不等于数据已持久化;最后一个包确认后,DataNode才提交数据块并通知NameNode。要区分数据包确认、sync()、块提交和文件关闭。另见[[sync语义边界]]。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《Hadoop技术内幕:深入解析Hadoop Common和HDFS架构设计与实现原理》第7章《数据节点实现》(源文件:_epub-src/EPUB/text00104.html)
- 结论依据:原文说明客户端收到确认包可断定管道上所有节点已接收该数据包,而提交数据块和通知名字节点发生在最后一个数据包确认之后。
- 原始内容:如果处理的是整个写请求最后一个数据包的确认,这时,需要执行如下附加步骤:关闭PacketResponder所属的数据块接收器对象,设置数据块长度,使用FSDataset.finalizeBlock()方法提交数据块,最后利用notifyNamenodeReceivedBlock()通知名字节点,本节点完成了一个数据块的接收。……当客户端最终接收到确认包时,它可以断定数据流管道上的所有数据节点已经接收到对应的数据包。