知识卡片

普通读书笔记卡 · 2824.a.3

客户端分块后经DataNode流水线写入

理解等级:中级

写入 HDFS 时,客户端先把文件切成数据块,向 NameNode 获取该块应存放的 DataNode 地址,再与这些节点建立数据流水线,逐块流式写入。NameNode 管位置和元信息,实际数据流经过 DataNode;将控制信息与数据传输分开,避免让元数据节点承担整份文件的传输压力。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据技术体系详解:原理、架构与实践》第6章《分布式文件系统》6.3(源文件:_epub-src/OEBPS/text00043.html) - 结论依据:原文说明客户端执行分块、向 NameNode 领取 DataNode 地址,并在 DataNode 之间建立流水线写入;结合两类节点职责可推出控制与数据路径分离。 - 原始内容:文件的分块操作也是在客户端完成的。当向HDFS写入文件时,客户端首先将文件切分成等大的数据块(默认一个数据块大小为128MB),之后从NameNode上领取三个DataNode地址,并在它们之间建立数据流水线,进而将数据块流式写入这些节点。