知识卡片
平均分摊误差会失真
把总估计误差按均匀比例分配给涉及桶,可能把新增越界值的误差摊给原本准确的旧区间。反馈应尽量定位到具体范围;动态修正的依据、覆盖盲点与分布变化必须一起检查。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 4 处
- TiDB 源码阅读系列文章(十四)统计信息(下) · 查看原书依据
统计信息的收集和维护是数据库的核心功能,对于基于代价的查询优化器,统计信息的准确性直接影响了查询效率。在分布式数据库中,收集统计信息和单机差别不大,但是维护统计信息有比较大的挑战,比如怎样在多节点更新的情况下,准确及时的维护统计信息。
- TiDB 源码阅读系列文章(十四)统计信息(下) · 查看原书依据
对于每一次增删,都去更新对应的桶深。在一个桶的桶深过高的时候分裂桶,一般是把桶的宽度等分,不过这样很难准确的确定分界点,引起误差。
- TiDB 源码阅读系列文章(十四)统计信息(下) · 查看原书依据
使用查询得到的真实数去反馈调整直方图,假定所有桶贡献的误差都是均匀的,用连续值假设去调整所有涉及到的桶。然而误差均匀的假设常常会引起问题,比如当新插入的值大于直方图的最大值时,就会把新插入的值引起的误差分摊到直方图中,从而引起误差。
- TiDB 源码阅读系列文章(十四)统计信息(下) · 查看原书依据
目前 TiDB 的统计信息还是以单列的统计信息为主,为了减少独立性假设的使用,在将来 TiDB 会探索多列统计信息的收集和维护,为优化器提供更准确的统计信息。
参考来源
- 位置:《TiDB源码阅读系列文章》第14章《TiDB 源码阅读系列文章(十四)统计信息(下)》(来源项目:book-sources;源文件:extracted/TiDB源码阅读系列文章/_epub-src/OEBPS/Text/TiDB 源码阅读系列文章(十四)统计信息(下).html;阅读段落 53,55,56,57;均为书中版本)
- 结论依据:原文对平均分摊误差会失真给出上述机制或边界;本卡把已读说明整理为可独立理解的解释。
- 原始内容:统计信息的收集和维护是数据库的核心功能,对于基于代价的查询优化器,统计信息的准确性直接影响了查询效率。在分布式数据库中,收集统计信息和单机差别不大,但是维护统计信息有比较大的挑战,比如怎样在多节点更新的情况下,准确及时的维护统计信息。 …… 对于每一次增删,都去更新对应的桶深。在一个桶的桶深过高的时候分裂桶,一般是把桶的宽度等分,不过这样很难准确的确定分界点,引起误差。 …… 使用查询得到的真实数去反馈调整直方图,假定所有桶贡献的误差都是均匀的,用连续值假设去调整所有涉及到的桶。然而误差均匀的假设常常会引起问题,比如当新插入的值大于直方图的最大值时,就会把新插入的值引起的误差分摊到直方图中,从而引起误差。 …… 目前 TiDB 的统计信息还是以单列的统计信息为主,为了减少独立性假设的使用,在将来 TiDB 会探索多列统计信息的收集和维护,为优化器提供更准确的统计信息。