知识卡片
MADlib与MAD理念
MADlib是面向可扩展数据库内分析的开源库,为结构化与非结构化数据提供数学、统计与机器学习方法的并行实现,支持PostgreSQL、Greenplum与HAWQ(后者查询存放在HDFS上的数据)。它把算法做成库内函数,用SQL调用即可,不必把数据搬到外部环境。
其设计对应MAD三项主张:Magnetic,数据仓库要能吸纳组织内所有数据源,而不先苛求质量;Agile,库的物理与逻辑结构要能持续演进,让分析师快速摄入与产出;Deep,要能直接在全量数据上跑复杂统计与机器学习,而不是靠抽样。三者合起来指向数据湖:存放大量结构化与原始格式非结构化数据、允许多个团队各自探索的环境。
模块覆盖线性回归与逻辑回归、交叉验证、矩阵分解、Apriori关联规则、k均值聚类、主题模型、描述与推断统计、主成分分析、ARIMA等,基本对应前面各章的方法。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第11章 高级分析技术与工具:数据库内分析 · 查看原书依据
因为设计和构建MADlib的目的是适应对数据的大规模并行处理,因此MADlib非常适合数据库内的大数据分析。MADlib支持开源数据库PostgreSQL以及Pivotal Greenplum数据库和Pivotal HAWQ。
参考来源
- 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第11章 高级分析技术与工具:数据库内分析(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0021_split_003.html)
- 结论依据:11.3.4节对MADlib定位、支持数据库、MAD三理念、数据湖概念与模块清单的介绍。
- 原始内容:因为设计和构建MADlib的目的是适应对数据的大规模并行处理,因此MADlib非常适合数据库内的大数据分析。MADlib支持开源数据库PostgreSQL以及Pivotal Greenplum数据库和Pivotal HAWQ。