知识卡片

普通读书笔记卡 · 2697.c

写入流水线

理解等级:未标注

HDFS 写入分两段:客户端先向 NameNode 申请,NameNode 检查权限,并按副本数给出目标 DataNode 列表;随后客户端以流水线方式写入,数据先到第一个节点,再由它传给第二个、第三个,最后一个节点写成功后逐级回确认。中途某节点故障,就从管道中剔除并补一个新节点。副本落在哪里见[[副本放置跨故障域]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《云计算:从基础架构到最佳实践》第11章《分布式云存储》(源文件:_epub-src/OEBPS/Text/part0019_split_002.html) - 结论依据:原文说明HDFS写入流程:客户端先本地缓存,向名字节点发RPC,名字节点检查权限并按复制系数确定数据节点列表;客户端以流式管道写入,第一个节点成功后传给第二个、再传第三个;最后节点成功后回ACK;节点故障则从管道删除,名字节点重新分配新节点。 - 原始内容:(1)客户端向远端名字节点发起RPC请求。……名字节点根据复制系数,确定数据块存放的数据节点列表,并传送给客户端。……(4)客户端以流式管道的形式将数据块写入相应的数据节点,数据块向第一个数据节点写入,当第一个节点存储成功后,会将数据块传递给第二个数据节点;第二个数据节点写入成功后,再将数据块传送至第三个数据节点,这样整个写入过程以一种流水线的方式写入。……则故障节点会从当前流式管道中删除,同时名字节点会重新分配一个新的数据节点,写入过程不变。