知识卡片
客户端分块后经DataNode流水线写入
写入 HDFS 时,客户端先把文件切成数据块,向 NameNode 获取该块应存放的 DataNode 地址,再与这些节点建立数据流水线,逐块流式写入。NameNode 管位置和元信息,实际数据流经过 DataNode;将控制信息与数据传输分开,避免让元数据节点承担整份文件的传输压力。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《大数据技术体系详解:原理、架构与实践》第6章《分布式文件系统》6.3(源文件:_epub-src/OEBPS/text00043.html)
- 结论依据:原文说明客户端执行分块、向 NameNode 领取 DataNode 地址,并在 DataNode 之间建立流水线写入;结合两类节点职责可推出控制与数据路径分离。
- 原始内容:文件的分块操作也是在客户端完成的。当向HDFS写入文件时,客户端首先将文件切分成等大的数据块(默认一个数据块大小为128MB),之后从NameNode上领取三个DataNode地址,并在它们之间建立数据流水线,进而将数据块流式写入这些节点。