知识卡片
多列估计减少独立假设
分别计算列条件再相乘,假定列之间独立。联合索引统计可直接估算一组前缀条件;Selectivity 用条件集合覆盖选择少量统计对象,再组合剩余估计,以减少而非消除独立性假设。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 3 处
- TiDB 源码阅读系列文章(十二)统计信息(上) · 查看原书依据
在处理多列之间的查询条件的时候,一个常见的做法是认为不同列之间是相互独立的,因此我们只需要把不同列之间的过滤率乘起来。不过,对于索引上的可以用来构造索引扫描的范围的过滤条件,即对于一个 (a, b, c) 这样的索引,类似 (a = 1 and b = 1 and c < 5) 或者 (a
- TiDB 源码阅读系列文章(十二)统计信息(上) · 查看原书依据
因此,Selectivity 的一个最重要的任务就是将所有的查询条件分成尽量少的组,使得每一组中的条件都可以用某一列或者某一索引上的统计信息进行估计,这样我们就可以做尽量少的独立性假设。
- TiDB 源码阅读系列文章(十二)统计信息(上) · 查看原书依据
在 Selectivity 中,首先计算了每一列和每一个索引可以覆盖的过滤条件,并用一个 int64 来当做一个 bitset,将该列可以覆盖的过滤条件的位置置为 1。接下来的任务就是选择尽量少的 bitset,来覆盖尽量多的过滤条件,在这一步中,我们使用了贪心算法,即每一次在还没有使用的
参考来源
- 位置:《TiDB源码阅读系列文章》第12章《TiDB 源码阅读系列文章(十二)统计信息(上)》(来源项目:book-sources;源文件:extracted/TiDB源码阅读系列文章/_epub-src/OEBPS/Text/TiDB 源码阅读系列文章(十二)统计信息(上).html;阅读段落 53,54,55;均为书中版本)
- 结论依据:原文对多列估计减少独立假设给出上述机制或边界;本卡把已读说明整理为可独立理解的解释。
- 原始内容:在处理多列之间的查询条件的时候,一个常见的做法是认为不同列之间是相互独立的,因此我们只需要把不同列之间的过滤率乘起来。不过,对于索引上的可以用来构造索引扫描的范围的过滤条件,即对于一个 (a, b, c) 这样的索引,类似 (a = 1 and b = 1 and c < 5) 或者 (a …… 因此,Selectivity 的一个最重要的任务就是将所有的查询条件分成尽量少的组,使得每一组中的条件都可以用某一列或者某一索引上的统计信息进行估计,这样我们就可以做尽量少的独立性假设。 …… 在 Selectivity 中,首先计算了每一列和每一个索引可以覆盖的过滤条件,并用一个 int64 来当做一个 bitset,将该列可以覆盖的过滤条件的位置置为 1。接下来的任务就是选择尽量少的 bitset,来覆盖尽量多的过滤条件,在这一步中,我们使用了贪心算法,即每一次在还没有使用的