返回主题:存储常用数据结构

知识卡片

普通读书笔记卡 · 1788.a.1

多粒度桶减少范围读取

理解等级:中级

只保存小时计数,长时间范围查询就需读取许多小时。额外保存天、周及固定28天等较粗粒度桶,可优先使用覆盖大段区间的粗桶,再用细桶处理边界。粗桶数量相对小时少,能以少量额外视图换取较少读取;组合时必须避免区间重叠造成重复计数。28天是示例的固定长度,不等于每个自然月。

与[[预计算的取舍]]的联系:预存粗粒度桶用少量存储降低长时间范围读取量。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 2 处

    参考来源

    - 位置:《大数据系统构建:可扩展实时数据系统构建原理与最佳实践》第8章《批处理层示例:架构和算法》(来源项目book-sources;源文件:extracted/大数据系统构建:可扩展实时数据系统构建原理与最佳实践/_epub-src/OEBPS/Text/060.xhtml) - 结论依据:原文及图8-3/8-4说明粗桶覆盖与细桶修正的取舍;不照搬原文区间数量的粗略数值。 - 原始内容:不仅可以使用小时粒度来预先计算值,也可以用更粗的粒度进行预先计算