知识卡片

普通读书笔记卡 · 3104.c

重分区中间流也会积压

理解等级:中级

书中版本的 Samza 借 Kafka 缓冲输入和中间结果,下游变慢时积压先落到消息系统,而非直接撑满任务内存。重分区算子还会建立隐式中间流,因此只监控外部输入、输出主题会漏掉瓶颈。积压监控应覆盖每一级中间流,并结合消费速率、存储容量和任务资源判断能否追上。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《实时流计算系统设计与实现》第6章6.3.3《流的执行》(源文件:_epub-src/OEBPS/Text/chapter107.xhtml;图6-6) - 结论依据:正文解释 Kafka 缓冲与积压风险,图6-6展示重分区算子建立隐式中间流。 - 原始内容:Samza会在内部创建一个中间流用于暂存再分区后的数据。这个中间流也使用Kafka进行传输