知识卡片

普通读书笔记卡 · 3100.a

时间分桶让滑动窗口只更新一个桶

理解等级:未标注

把“过去七天”的计数拆成七个按天编号的桶。新事件只对所属桶执行一次原子递增;查询时再读取七个桶并求和。这样写入只触及一个小窗口,读取成本随查询范围内的桶数增长。桶键须包含事件类型、实体、时间粒度与桶序号,避免不同指标或日期混写。这个设计适合可相加的计数;去重人数等指标需要可合并的状态结构。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《实时流计算系统设计与实现》第5章5.2.1《时间维度聚合特征计算》(源文件:_epub-src/OEBPS/Text/chapter79.xhtml) - 结论依据:原文把七天窗口拆为七个日桶,每次只用 Redis INCR 更新当前桶,查询时用 GET 读取七桶求和,并给出包含事件、设备、粒度、索引的键格式。 - 原始内容:我们的设计是将更新操作和查询操作分开进行的。因此,这里只需更新一个小窗口的计数值,而不需要更新整个窗口中所有小窗口的计数值。……当查询7天窗口内的总计数值时,我们对7个子时间窗口内的计数做查询并汇总。