知识卡片
OLTP与OLAP的分工
OLTP(应用程序数据库):存储应用状态(典型例子是银行账户余额),以高速率读写单条记录。“事务数据库”这一叫法并不一定意味着支持原子事务;更准确地说,OLTP 支持低延迟、高并发——RDBMS 可在一毫秒内选取或更新一行,每秒处理数千次读写。它适合作为成千上万用户同时交互的应用后端,不适合大规模分析。
ACID 与放宽:支持应用后端不必完全具备 ACID,放宽约束可大幅提升性能和规模(如最终一致性);但 ACID 极大简化了应用开发。所有工程师都要知道自己用的系统在不在 ACID 之下运行——了解所用的一致性模型可以预防灾难。原子事务即一次提交中包含多个更改,例如银行转账检查 A、B 余额后转账,要么两边都更新,要么都不更新。
在 OLTP 上直接跑分析:小公司常这么做,短期可行但无法扩展——分析查询与事务负载争抢资源,最终产生性能问题。数据工程师要懂 OLTP 内部机制,在不拖慢生产应用的前提下接入分析系统。混合事务与分析负载的应用,作者称为数据应用程序。
OLAP:为大型分析查询构建,单条记录查找效率低。列式数据库任何查询都要扫描最小数据块(常为 100MB 以上),每秒数千次单点查找会把它拖垮,除非有专门的缓存层。之所以在源系统一章谈 OLAP,是因为工程师常从 OLAP 读数据:用数仓数据训练 ML 模型,或做反向 ETL,把派生数据送回 CRM、SaaS 等源系统。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 源系统中的数据生成 · 查看原书依据
了解你正在使用的一致性模型也可以帮助你预防灾难。
参考来源
- 位置:《数据工程之道:设计和构建健壮的数据系统》第05章《第5章 源系统中的数据生成》5.2.3 应用程序数据库(OLTP系统);5.2.4 联机分析处理系统(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0011.xhtml,来源项目 book-sources)
- 结论依据:5.2.3节介绍OLTP的特征、ACID与原子事务、在OLTP上直接分析的局限和数据应用程序;5.2.4节说明OLAP的特征及其作为源系统出现的场景(训练ML、反向ETL)。
- 原始内容:了解你正在使用的一致性模型也可以帮助你预防灾难。