知识卡片
重分区中间流也会积压
书中版本的 Samza 借 Kafka 缓冲输入和中间结果,下游变慢时积压先落到消息系统,而非直接撑满任务内存。重分区算子还会建立隐式中间流,因此只监控外部输入、输出主题会漏掉瓶颈。积压监控应覆盖每一级中间流,并结合消费速率、存储容量和任务资源判断能否追上。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《实时流计算系统设计与实现》第6章6.3.3《流的执行》(源文件:_epub-src/OEBPS/Text/chapter107.xhtml;图6-6)
- 结论依据:正文解释 Kafka 缓冲与积压风险,图6-6展示重分区算子建立隐式中间流。
- 原始内容:Samza会在内部创建一个中间流用于暂存再分区后的数据。这个中间流也使用Kafka进行传输