此卡片不在当前主题的阅读序列中,可返回主题继续阅读。
知识卡片
数据源可插拔
Spark把各种输入格式统一抽象为数据源:每种数据源实现同一个注册接口并提供简短别名,DataSource负责按格式名查找实现类、创建数据源并解析出关系。找不到别名时再按类名加载。于是读文本、CSV、JSON或第三方存储都走同一套读取接口,新增格式只需实现并注册,不必改核心代码。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《Spark内核设计的艺术:架构设计与实现 (大数据技术丛书)》第10章《Spark API》(源文件:_epub-src/EPUB/text00290.html、_epub-src/EPUB/text00291.html)
- 结论依据:原文说明Spark把文本、CSV、JSON等格式作为数据源,DataSourceRegister是所有数据源的抽象,DataSource负责查找、创建和解析不同数据源;通过类加载器按别名查找实现类。
- 原始内容:特质DataSourceRegister是对所有数据源的抽象,DataSourceRegister的所有具体实现都被注册到了DataSource中。……DataSourceRegister是数据源的抽象,所有数据源都应该实现它。