知识卡片
按任务选择HDFS访问层
访问 HDFS 可分为几个层次:临时文件管理用 Shell,程序需控制文件操作时用 FileSystem API,日志和关系数据导入可交给 Flume 或 Sqoop,批量计算则通过 InputFormat/OutputFormat 或查询引擎读取。FileSystem 抽象还让本地与 HDFS 由不同实现承接;先选最贴近任务的现成接口,可减少重复编写底层读写和并行切分逻辑。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《大数据技术体系详解:原理、架构与实践》第6章《分布式文件系统》6.5(源文件:_epub-src/OEBPS/text00045.html)
- 结论依据:原文列出 Shell、API、数据收集组件和计算框架四类访问方式,指出多数场景可直接使用现有组件,并说明 FileSystem 的本地与 HDFS 实现。
- 原始内容:HDFS提供了多种访问方式,包括HDFS Shell、HDFS API、数据收集组件(比如Flume,Sqoop等)以及上层计算框架等……对于Java而言,HDFS提供了文件系统基础抽象类FileSystem,本地文件系统对应的实现类为LocalFileSystem,而HDFS的实现类是DistributedFileSystem