知识卡片

普通读书笔记卡 · 2280.h.1.a.13.l

何时用Spark代替SQL

理解等级:高级

SQL 不是“不能建复杂管道”:SQL 是声明式语言,作者用集合语言描述最终数据的特征,由编译器和优化器决定步骤。它可以借助 CTE、SQL 脚本或编排工具建立复杂 DAG。作者常看到工程师在 Python 和 Spark 中做的事,用 SQL 能更容易、更有效地完成。

决定是否用原生 Spark/PySpark 而不是 SQL,问三个问题: 1. 用 SQL 写这个转换有多难?词干提取在 SQL 中虽可勉强实现(后缀表、连接、解析函数、子串),但边缘情况极多,面向过程语言更合适; 2. SQL 代码的可读性和可维护性如何? 3. 是否应把部分转换代码推到自定义库,以便在全组织复用?SQL 缺少库和可复用代码的概念(UDF 若无外部 CI/CD 也不会进 Git),而 Spark 中很容易创建可复用库。SQL 的复用方式:把查询结果提交为表或视图(由 Airflow 等编排);用 dbt 等工具的模板语言。

小心 UDF:SQL UDF 通常表现不错,但作者见过 JavaScript UDF 把查询时间从几分钟拖到几小时。

原生 Spark 的四条建议(Spark 不会像 SQL 引擎那样自动帮你优化): 1. 尽早、尽可能多地过滤; 2. 尽量依赖核心 Spark API 和维护良好的公共库,好的 Spark 代码基本上是声明式的;写极其复杂的自定义代码时先停下来找更原生的方式; 3. 小心 UDF——PySpark 是 Scala Spark 的 API 封装,Python UDF 会迫使数据传给效率较低的 Python,必须用时考虑用 Scala 或 Java 重写; 4. 混合使用 SQL,利用 Catalyst 优化器。

要点:可编程的数据处理 API 比 SQL 需要更多优化,团队要建立 Spark 优化的专业知识;这些建议对 Beam 同样适用。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据工程之道:设计和构建健壮的数据系统》第08章《第8章 查询、建模和转换》8.3.1 批量转换(SQL和基于代码的转换工具)(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0014.xhtml,来源项目 book-sources) - 结论依据:8.3.1节反驳SQL不能建复杂管道的观点,给出选择原生Spark还是SQL的三个问题与UDF风险,并提出原生Spark编码的四条优化建议。 - 原始内容:主要的一点是,可编程的数据处理API需要比SQL更多的优化,SQL可能没有那么强大但是更容易使用。