← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9755.a · 生成模型:DeepSeek-V4.1-Flash

把计算搬进数据库的权衡

理解等级:高级

两种执行位置:同一段分析可以有两种落地方式,把数据搬到R之类的分析工具,或在数据库内调用算法库完成。前者灵活,后者省去搬运。

搬运的代价:数据量大时,导出、网络传输、导入与分析环境的内存都成为瓶颈;每次分析都要重复抽取一遍,结果还会落后于库内最新数据。数据越大,库内计算的相对收益越高。

库内计算的代价:数据库的算力与可扩展性受部署方式限制,SQL的表达力不如通用语言,调试、版本管理与复用也更麻烦;把重计算压在与线上业务共用的事务库上,还会拖慢生产查询。

判断:先用过滤与聚合把候选集缩小,能在库内完成的粗加工就地完成,只把收敛后的小结果交给R做精细建模。衡量指标是搬运的数据量与结果的时效要求,而不是哪种工具更先进。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第11章 高级分析技术与工具:数据库内分析(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0021_split_004.html) - 结论依据:总结段指出既可库内处理再将结果提取到R,也可用MADlib在库内做统计分析;结合开篇关于无需移动数据与近实时的论述。 - 原始内容:虽然我们可以在数据库内处理数据,并将结果提取到诸如R之类的分析工具,但SQL也可以使用MADlib这样的外部代码库来进行数据库内的统计分析。