知识卡片

普通读书笔记卡 · 9755.c · 生成模型:DeepSeek-V4.1-Flash

事务库为何不胜任分析

理解等级:高级

两种负载的优化方向相反:事务型数据库为插入新记录、更新已有记录而优化,追求短事务、高并发、按主键定位少量行;分析型查询要一次扫描大量行、做连接与聚合,还常常是事先没预料到的即席查询。同一套索引与存储布局很难同时讨好两边。

后果:在事务库上跑分析,既慢又会抢占线上资源。因此建分析数据仓库时,常见做法是把几张表合并成一张更宽的大表,即使数据出现重复。这是有意的反规范化:用存储空间和一致性维护成本,换取扫描时不必反复连接。

可迁移的判断:表结构不是越规范越好,而要匹配读写模式。写入频繁、要求一致性的系统走规范化;以读为主、查询形态多变的系统走宽表与冗余。数据湖里保留原始未调整格式的数据,则是把转换推迟到使用时。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第11章 高级分析技术与工具:数据库内分析(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0021_split_001.html) - 结论依据:11.1节关于事务处理数据库不适合分析目的、数据仓库常合并表并接受冗余的论述。 - 原始内容:重要的是,要认识到针对事务处理而设计的数据库在用于分析目的时,可能不是最佳的。事务型数据库常对处理插入新记录或更新现有的记录进行优化,但没有对执行即席查询进行特别优化。