知识卡片
数据库内分析是什么
定义:数据库内分析指把数据处理留在数据仓库内部完成,而不是先把数据抽取到外部工具再算。传统做法是用R一类工具连接数据源,把表读进分析环境;数据库内分析把计算下推到存放数据的机器上执行。
为什么划算:数据不离开库,省掉导出、传输、导入三段开销,也避免中间副本与统计口径不一致;结果可以边算边用,因此能支撑近乎实时的场景,例如信用卡交易欺诈检测、商品推荐、面向特定用户的网页广告投放。
边界:它不排斥R。库内适合过滤、连接、聚合、窗口计算这类用SQL表达且在数据旁执行更省力的工作;复杂建模仍可回到R,或改用库内算法库。判断标准是这一步计算离数据近不近、数据量是否大到搬不动。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第11章 高级分析技术与工具:数据库内分析 · 查看原书依据
数据库内分析(in-database analytics)是一个用来描述在数据仓库中对数据进行处理的广义术语。在先前的许多R例子中,数据是从数据源中提取出来然后加载到R中。数据库内分析的一个优势是它不需要将数据移动到分析工具中。
参考来源
- 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第11章 高级分析技术与工具:数据库内分析(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0021_split_000.html)
- 结论依据:开篇对数据库内分析的定义、无需移动数据的优势与近实时应用场景的论述。
- 原始内容:数据库内分析(in-database analytics)是一个用来描述在数据仓库中对数据进行处理的广义术语。在先前的许多R例子中,数据是从数据源中提取出来然后加载到R中。数据库内分析的一个优势是它不需要将数据移动到分析工具中。