知识卡片

普通读书笔记卡 · 3091.b

Kafka偏移量重放压测

理解等级:中级

以 Kafka 为输入的流计算应用,可以先写入一批压测消息,再通过调整消费分区的 offset 重放同一批数据。这样便于复现负载并比较优化前后结果,也避免每轮重新造数据;测试时仍需记录消息分布、分区数和消费起点,防止把输入条件变化误当成性能改进。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《实时流计算系统设计与实现》第3章3.4.2《优化工具》(源文件:_epub-src/OEBPS/Text/chapter48.xhtml) - 结论依据:原文给出预先灌入压测数据、修改 Kafka 分区 offset 以重复消费的方案,并说明可免于每次重新灌数。 - 原始内容:以Kafka作为数据源为例,为了方便压力测试,可以预先在Kafka中灌入一批用于压力测试的数据。之后,如图3-14所示,我们可以通过修改Kafka分区(partition)的偏移量(offset),方便地重放压测数据