知识卡片
流数据随机性的三种应对手段
事件到达的时间和数量随机,短时峰值可能压垮固定容量的处理链。可从三层应对:业务允许时采样或丢弃部分数据,减少输入量;不能丢数据时用持久化消息队列缓冲峰值;长期压力变化时动态增减计算资源。三者分别改变待处理量、处理节奏和处理能力,选择取决于丢失容忍度与成本。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
**:
- 位置:《实时流计算系统设计与实现》第1章1.3《实时流数据的特点》(源文件:_epub-src/OEBPS/Text/chapter4.xhtml)
- 结论依据:原文列出采样、缓冲、动态调整资源三种不同层面的应对方式,卡片据此归纳为减量、削峰和扩容。
- 原始内容:实时流数据的随机性对实时流计算系统在各种流量和突发情况下的处理能力与服务稳定性提出要求。我们可以从数据采样、数据缓冲、计算资源动态调整3个角度来解决实时流数据随机性的问题。