知识卡片
零拷贝读
DataNode 读块时尽量使用零拷贝传输,把文件数据直接从内核缓冲发送到 socket,减少用户态复制。对大文件流式读取而言,少一次内存拷贝就是可观吞吐收益。相关:[[HDFS适用边界]]。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《Hadoop技术内幕:深入解析Hadoop Common和HDFS架构设计与实现原理》第7章《数据节点实现》(源文件:_epub-src/EPUB/text00103.html)
- 结论依据:原文说明数据节点读接口的NIO方式利用transferTo()以零拷贝方式传输,比基于Java流的普通方式高效。
- 原始内容:普通方式使用基于Java流的API,实现数据节点“数据读”流式接口,NIO方式则利用了Java NIO中的transferTo()方法,以零拷贝的数据传输高效地实现了相同的接口。