知识卡片
输入流可定位
Hadoop 输入流不仅是顺序读取,还支持 seek 定位,因为大数据计算常需要按分片读取文件的某个范围。把随机定位能力放进流接口,MapReduce 等上层框架才能把同一大文件并行切给多个任务。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《Hadoop技术内幕:深入解析Hadoop Common和HDFS架构设计与实现原理》第5章《Hadoop文件系统》(源文件:_epub-src/EPUB/text00075.html、_epub-src/EPUB/text00082.html)
- 结论依据:原文说明seek()来自Seekable接口,提供输入流中的定位能力,而抽象文件系统使MapReduce可运行在HDFS或S3之上。
- 原始内容:通过Hadoop抽象文件系统,MapReduce目前可以运行在基于HDFS的集群上,也可以运行在基于Amazon S3的云计算环境里。……函数seek()来自org.apache.hadoop.fs.Seekable接口,提供了在输入流中进行定位的能力。