知识卡片
ETL串起数据分析链路
ETL把分散来源的数据抽取出来,转换成便于分析的形式,再加载到分析存储中;商业智能工具随后在数据仓库上生成内部报告。它把“拿到原始数据”与“让业务能据此回答问题”连成可重复的处理链。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第05章 信息平台和数据科学家的兴起 · 查看原书依据
Python脚本和C++守护进程从Facebook的数据源系统中抽取数据,然后这些数据又被加载到MySQL数据库用于离线查询。我们在包含这些数据的MySQL上又运行了一些脚本和查询,对数据进行聚集,以便得到更有用的表现方式。
参考来源
- 位置:《数据之美》第5章《信息平台和数据科学家的兴起》(源文件:../程序之美系列套装(6册)团队之美、项目管理之美、架构之美、数据之美、测试之美、安全之美/_epub-src/OEBPS/Text/part0324.xhtml)
- 结论依据:Facebook用脚本抽取数据、将其载入MySQL并聚集,再以内部报告呈现;原文把这类抽取、转换、加载称为ETL,并把用于决策支持的离线库称为数据仓库。
- 原始内容:Python脚本和C++守护进程从Facebook的数据源系统中抽取数据,然后这些数据又被加载到MySQL数据库用于离线查询。我们在包含这些数据的MySQL上又运行了一些脚本和查询,对数据进行聚集,以便得到更有用的表现方式。