知识卡片

普通读书笔记卡 · 2368.c

写管道应答

理解等级:未标注

HDFS写入沿副本链形成数据流管道,数据顺流而下,确认包由PacketResponder从下游接收后逆流向上转发。客户端收到确认,只说明管道上所有节点已接收该数据包,不等于数据已持久化;最后一个包确认后,DataNode才提交数据块并通知NameNode。要区分数据包确认、sync()、块提交和文件关闭。另见[[sync语义边界]]。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《Hadoop技术内幕:深入解析Hadoop Common和HDFS架构设计与实现原理》第7章《数据节点实现》(源文件:_epub-src/EPUB/text00104.html) - 结论依据:原文说明客户端收到确认包可断定管道上所有节点已接收该数据包,而提交数据块和通知名字节点发生在最后一个数据包确认之后。 - 原始内容:如果处理的是整个写请求最后一个数据包的确认,这时,需要执行如下附加步骤:关闭PacketResponder所属的数据块接收器对象,设置数据块长度,使用FSDataset.finalizeBlock()方法提交数据块,最后利用notifyNamenodeReceivedBlock()通知名字节点,本节点完成了一个数据块的接收。……当客户端最终接收到确认包时,它可以断定数据流管道上的所有数据节点已经接收到对应的数据包。