知识卡片
微批量折中
内容
微批量把短时间窗口内的事件组成小批次处理,用批处理式容错换取接近实时的延迟。它牺牲单事件级即时性,却显著简化状态一致性和失败恢复。
参考来源
- 位置:《大数据系统构建:可扩展实时数据系统构建原理与最佳实践》第16章《微批量流处理》开篇(源文件:_epub-src/OEBPS/Text/113.xhtml)
- 结论依据:原文明确"一次一个流处理……在失败期间只能提供'至少一次'的处理保证……在这些情况下,使用微批量流处理可以实现所需要的容错准确性,代价是大约数百毫秒到秒的更高延迟",说明微批量是用批处理式容错和延迟换取有且仅有一次语义的准确性。
- 原始内容:一次一个流处理是低延迟且容易理解的。但它在失败期间只能提供"至少一次"的处理保证……在一些情况下,你需要在任何时间都有完整的准确性,而且暂时的不准确性也是不可接受的。在这些情况下,使用微批量流处理可以实现所需要的容错准确性,代价是大约数百毫秒到秒的更高延迟。