知识卡片
把计算搬进数据库的权衡
两种执行位置:同一段分析可以有两种落地方式,把数据搬到R之类的分析工具,或在数据库内调用算法库完成。前者灵活,后者省去搬运。
搬运的代价:数据量大时,导出、网络传输、导入与分析环境的内存都成为瓶颈;每次分析都要重复抽取一遍,结果还会落后于库内最新数据。数据越大,库内计算的相对收益越高。
库内计算的代价:数据库的算力与可扩展性受部署方式限制,SQL的表达力不如通用语言,调试、版本管理与复用也更麻烦;把重计算压在与线上业务共用的事务库上,还会拖慢生产查询。
判断:先用过滤与聚合把候选集缩小,能在库内完成的粗加工就地完成,只把收敛后的小结果交给R做精细建模。衡量指标是搬运的数据量与结果的时效要求,而不是哪种工具更先进。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第11章 高级分析技术与工具:数据库内分析 · 查看原书依据
虽然我们可以在数据库内处理数据,并将结果提取到诸如R之类的分析工具,但SQL也可以使用MADlib这样的外部代码库来进行数据库内的统计分析。
参考来源
- 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第11章 高级分析技术与工具:数据库内分析(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0021_split_004.html)
- 结论依据:总结段指出既可库内处理再将结果提取到R,也可用MADlib在库内做统计分析;结合开篇关于无需移动数据与近实时的论述。
- 原始内容:虽然我们可以在数据库内处理数据,并将结果提取到诸如R之类的分析工具,但SQL也可以使用MADlib这样的外部代码库来进行数据库内的统计分析。