知识卡片
HTAP的核心张力:OLTP短事务写与OLAP长事务读的资源争抢
OLTP和OLAP从来不是同一种工作负载:OLTP强调”低延迟”,每次操作 只涉及一条或几条记录的增删改,是短事务、以写为主;OLAP强调 “高吞吐”,动辄需要全表扫描做统计聚合,是长事务、以读为主。 传统做法是把两者彻底隔开——OLTP系统通过ETL把数据抽取转换后 导入独立的OLAP数据仓库,但ETL延迟能到几十分钟甚至几天,数据 产生和被分析利用之间隔着一道时间鸿沟,商业价值因此打折扣。 HTAP想打破这道鸿沟,让数据产生后能立刻进入分析场景,但这不是 简单地”把两种查询扔进同一个系统”就能实现的:OLAP的长事务经常 需要独占系统资源做全表扫描,会挤占OLTP事务的资源,实测把两者 放进同一个系统调度后,OLTP的吞吐量可能直接掉到原来的1/5到 1/3——这正是HTAP系统设计要解决的核心矛盾:如何让这两种性质 截然不同的负载互不干扰地共存。目前主要有两条路径应对:一是 “共存式”,在现有系统基础上按数据冷热分层——新数据先落到内存 数据库支撑高频OLTP,变冷后再迁移到外存数据库供OLAP分析,用 数据生命周期把两种负载在时间维度上错开;二是”颠覆式”,从零 设计一个原生兼顾两种负载的系统,技术难度更高但潜力更大。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《新型数据库系统:原理、架构与实践》第3章"新型数据库
技术概述"3.1.2节"新型业务模式的发展"(源文件:
_epub-src/EPUB/xhtml/Section0001_0005.xhtml)
- 结论依据:原文明确"OLTP事务是短事务,以写为主;OLAP负载通常
是长事务,以读为主……OLAP的事务经常需要独占系统资源,使OLTP
事务吞吐量下降……有研究表明,把OLTP和OLAP放在一个系统里调度,
OLTP的吞吐量可能会下降到原本的1/5~1/3",并列出"OLTP和OLAP
共存的方式"与"全新的HTAP系统"两种实现路径,直接支撑本卡片的
核心矛盾与应对方案。
- 原始内容:OLTP事务是短事务,以写为主;OLAP负载通常是长事务,
以读为主,经常需要做全表扫描……有研究表明,把OLTP和OLAP放在
一个系统里调度,OLTP的吞吐量可能会下降到原本的1/5~1/3。