知识卡片
数据库内分析的能力阶梯
本章的技术是逐层叠加的,每一层回答一类问题,也各自消耗更多数据库资源:
- 表结构与规范化决定数据怎么摆,是后面所有操作的前提。
- 连接与集合运算把分散的行拼起来或按行集比较。
- 聚合与分组扩展把明细压成汇总,并补上小计总计。
- 窗口函数在不丢明细的前提下做排名与滑动计算。
- 用户定义函数与聚合补上库内缺失的逻辑。
- 外部算法库把建模整体搬进库内并行执行。
用法:遇到需求先看能否停在较低的层,能用过滤加聚合解决就不要上窗口函数,能在库内算完就不要把数据搬出去。层数越深,SQL越难维护,对数据库算力的占用也越大。
结构图:
flowchart TD
A[表结构与规范化] --> B[连接与集合运算]
B --> C[聚合与分组扩展]
C --> D[窗口函数]
D --> E[用户定义函数与聚合]
E --> F[外部算法库MADlib]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第11章 高级分析技术与工具:数据库内分析 · 查看原书依据
更复杂的SQL查询可以利用窗口函数计算数值,例如排名和原始数据集的滚动平均值。除了内置函数,SQL也具有创建用户自定义函数的功能。
参考来源
- 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第11章 高级分析技术与工具:数据库内分析(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0021_split_004.html)
- 结论依据:全章按11.1至11.3逐层展开的组织方式,以及总结段把连接、集合、聚合、正则、窗口函数、用户定义函数与MADlib并列回顾的写法。
- 原始内容:更复杂的SQL查询可以利用窗口函数计算数值,例如排名和原始数据集的滚动平均值。除了内置函数,SQL也具有创建用户自定义函数的功能。