知识卡片
OLTP与OLAP职责分离
在在线应用依赖的关系库上直接跑复杂分析,会极大增加线上负载、影响稳定性,业务方难以接受。因此标准做法是先从在线OLTP库与日志系统提取、清洗数据到OLAP系统(如Hive),再做多维复杂分析与汇总。OLTP是传统关系库的主要应用,负责日常事务处理,如银行交易、电商下单;OLAP是数据仓库的主要应用,支持复杂分析、侧重决策支持。搬数据靠同步,分两类:全量同步在每天负载最低时把线上数据整体dump到离线系统,耗时占连接、一天常只跑一两次;实时同步则捕捉每一次变更并即时反映。二者对应离线数据与实时变更,是后续Sqoop与binlog方案的分水岭。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 5.4 数据同步
原书出处 · 1 处
- 第5章 数据分析 5.4 数据同步 · 查看原书依据
因此,数据分析的过程往往是这样,首先从在线的OLTP库中,以及日志系统当中,提取和清洗所需要的数据到OLAP系统,如构建在Hadoop上的Hive平台,然后在OLAP系统上进行多维度复杂的数据分析和汇总操作,利用这些数据构建数据报表,提供前端展现。
参考来源
- 位置:《大型分布式网站架构设计与实践》第5章《5.4 数据同步》(源文件:`extracted/大型分布式网站架构设计与实践/_epub-src/text/part0010_split_004.html`,来源项目 `a19c7933-4eda-4176-aebd-30fe7e1ad292`,文件 SHA-256 `f7d236150882ce195547192ebe70ee9968add7b50b93184ad4b9fbf59fc7ea0b`)
- 结论依据:原文『首先从在线的OLTP库中……提取和清洗所需要的数据到OLAP系统……然后在OLAP系统上进行多维度复杂的数据分析和汇总操作』直接给出分离路径,同段界定OLTP与OLAP各自职责。
- 原始内容:因此,数据分析的过程往往是这样,首先从在线的OLTP库中,以及日志系统当中,提取和清洗所需要的数据到OLAP系统,如构建在Hadoop上的Hive平台,然后在OLAP系统上进行多维度复杂的数据分析和汇总操作,利用这些数据构建数据报表,提供前端展现。