知识卡片

普通读书笔记卡

HTAP的核心张力:OLTP短事务写与OLAP长事务读的资源争抢

理解等级:未标注

OLTP和OLAP从来不是同一种工作负载:OLTP强调”低延迟”,每次操作 只涉及一条或几条记录的增删改,是短事务、以写为主;OLAP强调 “高吞吐”,动辄需要全表扫描做统计聚合,是长事务、以读为主。 传统做法是把两者彻底隔开——OLTP系统通过ETL把数据抽取转换后 导入独立的OLAP数据仓库,但ETL延迟能到几十分钟甚至几天,数据 产生和被分析利用之间隔着一道时间鸿沟,商业价值因此打折扣。 HTAP想打破这道鸿沟,让数据产生后能立刻进入分析场景,但这不是 简单地”把两种查询扔进同一个系统”就能实现的:OLAP的长事务经常 需要独占系统资源做全表扫描,会挤占OLTP事务的资源,实测把两者 放进同一个系统调度后,OLTP的吞吐量可能直接掉到原来的1/5到 1/3——这正是HTAP系统设计要解决的核心矛盾:如何让这两种性质 截然不同的负载互不干扰地共存。目前主要有两条路径应对:一是 “共存式”,在现有系统基础上按数据冷热分层——新数据先落到内存 数据库支撑高频OLTP,变冷后再迁移到外存数据库供OLAP分析,用 数据生命周期把两种负载在时间维度上错开;二是”颠覆式”,从零 设计一个原生兼顾两种负载的系统,技术难度更高但潜力更大。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《新型数据库系统:原理、架构与实践》第3章"新型数据库 技术概述"3.1.2节"新型业务模式的发展"(源文件: _epub-src/EPUB/xhtml/Section0001_0005.xhtml) - 结论依据:原文明确"OLTP事务是短事务,以写为主;OLAP负载通常 是长事务,以读为主……OLAP的事务经常需要独占系统资源,使OLTP 事务吞吐量下降……有研究表明,把OLTP和OLAP放在一个系统里调度, OLTP的吞吐量可能会下降到原本的1/5~1/3",并列出"OLTP和OLAP 共存的方式"与"全新的HTAP系统"两种实现路径,直接支撑本卡片的 核心矛盾与应对方案。 - 原始内容:OLTP事务是短事务,以写为主;OLAP负载通常是长事务, 以读为主,经常需要做全表扫描……有研究表明,把OLTP和OLAP放在 一个系统里调度,OLTP的吞吐量可能会下降到原本的1/5~1/3。