知识卡片
任意代码与声明式查询
MPP 数据库是紧密集成的单体,SQL 表达力强,但机器学习、图像分析等定制逻辑难以写成 SQL。MapReduce 让工程师在大数据集上运行任意代码;MPP 数据库的用户定义函数则笨重,与主流语言的包管理生态兼容不佳。反过来,数据流引擎也在向声明式靠拢:连接以声明方式指定,优化器就能自动选择连接算法与顺序。两条路线正在趋同,都成了存储与处理数据的系统。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
- · 第十章:批处理
原书出处 · 1 处
- 第十章:批处理 · 查看原书依据
如果连接是以声明式(declarative) 的方式指定的,那这就这是可行的:应用只是简单地说明哪些连接是必需的,查询优化器决定如何最好地执行连接。
参考来源
- 位置:《数据密集型应用系统设计》第十章《批处理》"处理模型的多样性""向声明式查询语言的转变"(源文件:_epub-src/ch10_split_003.html、_epub-src/ch10_split_004.html)
- 结论依据:原文说明SQL无法表达所有处理需求(机器学习/图像分析),MapReduce允许运行任意代码但数据库UDF机制笨重,随后指出数据流引擎引入声明式连接语义让优化器自动选择连接算法与利用列存/向量化,直接支撑本卡片结论。
- 原始内容:并非所有类型的处理都可以合理地表达为SQL查询……MapReduce使工程师能够轻松地在大型数据集上运行自己的代码……如果连接是以声明式(declarative) 的方式指定的,那这就这是可行的:应用只是简单地说明哪些连接是必需的,查询优化器决定如何最好地执行连接。