知识卡片
流式聚合的寄存器化
时间窗口内若保留每条原始数据、每次重扫,会随窗口和流量增加内存与计算成本。对可增量更新的聚合,可只保留必要状态:计数留条数,求和留总和,均值留总和与条数;事件到达时更新对应窗口和分组的状态。这个方法适用于能由有限中间量推出结果的计算,复杂指标仍需先确认状态是否足够。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《实时流计算系统设计与实现》第4章4.3《时间维度聚合特征计算》(源文件:_epub-src/OEBPS/Text/chapter62.xhtml)
- 结论依据:原文对比缓存重扫与寄存器增量更新,列出 count、sum、avg 等聚合所需的最少中间量。
- 原始内容:因此,我们需要尽可能地降低计算复杂度,并且只保留必要的聚合信息,而不需要保存所有原始数据。非常幸运的是,对于各种聚合类型的运算,我们都能够找到一个(或者一组)指标,用于记录聚合后的结果。