知识卡片
Kafka偏移量重放压测
以 Kafka 为输入的流计算应用,可以先写入一批压测消息,再通过调整消费分区的 offset 重放同一批数据。这样便于复现负载并比较优化前后结果,也避免每轮重新造数据;测试时仍需记录消息分布、分区数和消费起点,防止把输入条件变化误当成性能改进。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《实时流计算系统设计与实现》第3章3.4.2《优化工具》(源文件:_epub-src/OEBPS/Text/chapter48.xhtml)
- 结论依据:原文给出预先灌入压测数据、修改 Kafka 分区 offset 以重复消费的方案,并说明可免于每次重新灌数。
- 原始内容:以Kafka作为数据源为例,为了方便压力测试,可以预先在Kafka中灌入一批用于压力测试的数据。之后,如图3-14所示,我们可以通过修改Kafka分区(partition)的偏移量(offset),方便地重放压测数据