知识卡片
业务聚合窗口不等于流数据窗口
流数据窗口用于把持续到来的事件分块处理;“过去七天交易额”则是业务查询范围。若为每条事件取七天特征都重算七天滑动窗口,会带来重复计算、结果输出滞后和多个特征难以对齐的问题。把业务结果按时间桶保存为[[状态类型决定存储策略]]中的信息状态,再按需汇总,可将流处理节奏与业务分析范围分开。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《实时流计算系统设计与实现》第5章5.1《流的状态》(源文件:_epub-src/OEBPS/Text/chapter75.xhtml;示意图:_epub-src/OEBPS/Images/t5-1-i.jpg)
- 结论依据:原文以七天交易额的秒级滑窗说明输出频率、重复计算、状态量和多特征同步问题,最后要求分离流管理与业务信息管理。
- 原始内容:因为“窗口”实际上是对“流数据”的分块管理,我们用“窗口”来将“无穷无尽”的流数据分割成一个个的“数据块”,然后在“数据块”上做各种计算。……我们不能将这种针对“流数据”本身的分治管理模式与我们对数据的业务信息分析窗口耦合起来。