知识卡片
从索引到分区与聚类
索引为特定字段提供查找表,避免全表扫描;RDBMS 用主键和外键索引支撑每秒数千次查询和更新。本书关注的是分析存储如何脱离索引演进。
从行到列:早期数仓建在事务型 RDBMS 上,MPP 带来并行扫描,但行式 MPP 仍依赖索引。列式序列化让查询只扫描所需的列,相似值放在一起又带来高压缩率、低压缩开销。列式库在大量单行查询的事务场景表现差,在大规模扫描、聚合、复杂转换上表现极好。过去列式库连接很慢,因此建议去规范化、用宽表和嵌套数据;如今连接性能大为改善,去规范化仍有性能优势但已不再必要。
从索引到分区和聚类: - 分区:按某个字段把表切成多个子表,分析场景常按日期/时间分区,只扫描相关时间范围; - 聚类:在分区内按一个或几个字段排序,把相似值放在一起,提升过滤、排序和连接性能。
例子:Snowflake 微分区:未压缩 50~500MB 的行集,用算法把相似行聚在一起(而非只按单个字段分区),并允许重叠。元数据库记录每个微分区的行数和各字段值范围,查询时据此修剪不含目标值的微分区——元数据库起到了传统索引的作用。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第6章 存储
原书出处 · 1 处
- 第6章 存储 · 查看原书依据
集群允许在分区内对数据进行更精细的组织。
参考来源
- 位置:《数据工程之道:设计和构建健壮的数据系统》第06章《第6章 存储》6.2.9 索引、分区和聚类(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0012.xhtml,来源项目 book-sources)
- 结论依据:6.2.9节说明索引的作用、分析存储从行式到列式的演进与去规范化建议的变化、分区与聚类减少扫描量的方法,以及Snowflake微分区用元数据修剪替代索引的例子。
- 原始内容:集群允许在分区内对数据进行更精细的组织。