知识卡片

普通读书笔记卡 · 2366.e

按任务选择HDFS访问层

理解等级:中级

访问 HDFS 可分为几个层次:临时文件管理用 Shell,程序需控制文件操作时用 FileSystem API,日志和关系数据导入可交给 Flume 或 Sqoop,批量计算则通过 InputFormat/OutputFormat 或查询引擎读取。FileSystem 抽象还让本地与 HDFS 由不同实现承接;先选最贴近任务的现成接口,可减少重复编写底层读写和并行切分逻辑。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据技术体系详解:原理、架构与实践》第6章《分布式文件系统》6.5(源文件:_epub-src/OEBPS/text00045.html) - 结论依据:原文列出 Shell、API、数据收集组件和计算框架四类访问方式,指出多数场景可直接使用现有组件,并说明 FileSystem 的本地与 HDFS 实现。 - 原始内容:HDFS提供了多种访问方式,包括HDFS Shell、HDFS API、数据收集组件(比如Flume,Sqoop等)以及上层计算框架等……对于Java而言,HDFS提供了文件系统基础抽象类FileSystem,本地文件系统对应的实现类为LocalFileSystem,而HDFS的实现类是DistributedFileSystem