知识卡片
预过滤后仍查真实记录
SSTable的布隆过滤器若判不存在,可在构建正确且无不当删除前提下跳过该文件;若判可能存在,仍要读取真实数据确认。误判在此主要多一次I/O,不会变成伪造记录。不能用相同的可能存在结果直接拒绝支付请求或当作交易已完成的事实。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 大数据常用的算法与数据结构 · 查看原书依据
在BigTable中,BF对于读操作的效率提升有巨大帮助。我们知道,BigTable中很多数据记录存储在磁盘的多个SSTable文件中,为了完成一次读操作,需要依次在这些SSTable中查找指定的Key,因为是磁盘操作且涉及多个文件,所以会对读操作效率有极大影响。BigTable将SSTable文件中包含的数据记录Key形成BF结构并将其放入内存,这样就能极高地提高查询速度,对于改善读操作有巨大的帮助作用。在这种场景下,BF的误判并不会造成严重影响,如果发生误判,说明记录本来不在这个SSTable中而BF认为不是这样,顶多增加一次磁盘读操作,系统仍然会知道记录并不在这个SSTable中,可以继续去其他文件接着查找。此时BF的不会漏判则起了很大作用,因为如果发生漏判,则本来在某个SSTable文件中的记录会无法找到,这意味着读操作的失败,很明显这是不允许的。Cassandra在实现时也采取了类似思路。
参考来源
- 位置:《大数据日知录:架构与算法》第3章《大数据常用的算法与数据结构》(来源项目:book-sources;源文件:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00008.html)
- 结论依据:原文以“BF的误判并不会造成严重影响”所在段落解释具体机制;本卡保留其条件,另将实现限制、勘误和教学推导在正文中明确区分。
- 原始内容:在BigTable中,BF对于读操作的效率提升有巨大帮助。我们知道,BigTable中很多数据记录存储在磁盘的多个SSTable文件中,为了完成一次读操作,需要依次在这些SSTable中查找指定的Key,因为是磁盘操作且涉及多个文件,所以会对读操作效率有极大影响。BigTable将SSTable文件中包含的数据记录Key形成BF结构并将其放入内存,这样就能极高地提高查询速度,对于改善读操作有巨大的帮助作用。在这种场景下,BF的误判并不会造成严重影响,如果发生误判,说明记录本来不在这个SSTable中而BF认为不是这样,顶多增加一次磁盘读操作,系统仍然会知道记录并不在这个SSTable中,可以继续去其他文件接着查找。此时BF的不会漏判则起了很大作用,因为如果发生漏判,则本来在某个SSTable文件中的记录会无法找到,这意味着读操作的失败,很明显这是不允许的。Cassandra在实现时也采取了类似思路。
- 边界对照:[LevelDB实现说明](https://raw.githubusercontent.com/google/leveldb/main/doc/impl.md)、[Bitcoin原论文](https://bitcoin.org/bitcoin.pdf)、[SILT原论文](https://www.cs.cmu.edu/~dga/papers/silt-sosp2011.pdf);用于校正原书简化,未将书外观点伪作原文。