← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 2280.h.1.a.12.g

JDBC与ODBC直连局限

理解等级:中级

ODBC:客户端部署驱动,把标准 ODBC API 翻译成各数据库的命令,结果再翻译成标准形式。驱动是基于操作系统和 CPU 架构的原生二进制,供应商要为每种组合维护多个版本。

JDBC:概念类似,但驱动跑在 JVM 上。JVM 可跨硬件和操作系统移植,并有 JIT 提升性能,供应商只需提供一个驱动,兼容所有 JVM 语言和 Spark。它流行到连 Python 都通过翻译工具使用 JDBC 驱动。

加速与代价:许多框架可并行开多个连接、对查询分区并行拉取,但并行连接会增加源数据库负载。

它们开始显得“年头已久”: - 处理嵌套数据吃力,原生嵌套数据要重新编码为字符串才能传输; - 按行发送数据,列式库的列要重新序列化为行。 替代方案:许多数据库支持直接导出 Parquet、ORC、Avro 文件;许多云数仓提供 REST API。

推荐用法:JDBC 通常与其他获取技术组合——一个读取进程(可跑在临时云实例或编排系统中)通过 JDBC 读库,把抽取的数据写入对象存储的多个对象,再由编排工具触发目标数据库获取。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据工程之道:设计和构建健壮的数据系统》第07章《第7章 获取》7.5.1 数据库直连(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0013.xhtml,来源项目 book-sources) - 结论依据:7.5.1节介绍ODBC与JDBC的原理和可移植性差异、并行连接对源库的负载、处理嵌套和列式数据的局限,以及JDBC读库写对象存储再由编排加载的组合用法。 - 原始内容:这些连接标准在处理嵌套数据时很吃力,而且它们以行的形式发送数据。