知识卡片
流聚合按窗口产出结果
reduce 按指定的“二合一”规则聚合流元素,并把聚合值输出为新流。面对持续到来的数据,书中先划定时间、事件或会话窗口,再在窗口内求和等;因此输出通常按窗口节奏产生,而不是像 map 一样逐条对应输入。窗口范围和触发节奏应随业务问题一起确定。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《实时流计算系统设计与实现》第4章4.2.4《聚合》(源文件:_epub-src/OEBPS/Text/chapter58.xhtml)
- 结论依据:原文定义 reduce 的聚合作用,说明流聚合需确定窗口,并用每秒输出一次十秒窗口求和的例子区别于逐元素映射。
- 原始内容:聚合(reduce)用于将数据流中的元素按照指定方法进行聚合,并将聚合结果作为新的流输出。由于流数据具有时间序列的特征,所以聚合操作不能像诸如Hadoop等批处理计算框架那样作用在整个数据集上。