知识卡片
延迟吞吐互换
内容
微批量窗口越大，吞吐和调度效率越好，但查询新鲜度越差；窗口越小，延迟越低却带来更多协调开销。实时系统调参不是追求最小窗口，而是匹配业务可接受的新鲜度。
参考来源
- 位置：《大数据系统构建：可扩展实时数据系统构建原理与最佳实践》第16章《微批量流处理》"16.2 微批量流处理的核心概念"末段（源文件：_epub-src/OEBPS/Text/115.xhtml）
- 结论依据：原文明确"对于任何单独的元组，在微批量流处理中，从添加元组到源队列直至它被完全处理的延迟时间要高得多……有一个很小但很重要的用来协调批次的开销增加了延迟……但微批量流处理比一次一个流处理有更高的吞吐量……这意味着平均每个元组需要更少的资源"。
- 原始内容：与一次一个流处理相比，微批量流处理的延迟和吞吐量的特点有所不同……有一个很小但很重要的用来协调批次的开销增加了延迟，并且不是只等待一个元组完成，处理需要更多的元组来完成……但微批量流处理比一次一个流处理有更高的吞吐量。一次一个流处理必须完成单个元组级别的追踪，而微批量流处理只需要完成批次级别的追踪。