知识卡片

普通读书笔记卡 · 611.e

批量消费与堆积丢弃

理解等级:未标注

提高消费吞吐有两招:多条一起处理远快于逐条时(如批量更新数据库),把consumeMessageBatchMaxSize从默认1调大,一次收到N条;发生短时间无法消除的严重堆积时,丢弃不重要的消息,如某队列堆积超过9万条就直接丢,让Consumer追上Producer。后者以个别消息的完整性换整体不落后,只适用于可丢的消息。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《RocketMQ实战与原理解析 (云栖社区系列)》第7章《吞吐量优先的使用场景》(源文件:_epub-src/OEBPS/text00076.html) - 结论依据:原文第7.2节说明批量消费参数consumeMessageBatchMaxSize,以及严重堆积时丢弃不重要消息以追上进度的示例。 - 原始内容:多条消息同时处理的时间会大大小于逐个处理的时间总和……实现方法是设置Consumer的consumeMessageBatchMaxSize这个参数,默认是1……这个时候可以选择丢弃不重要的消息,使Consumer尽快追上Producer的进度……当某个队列的消息数堆积到90000条以上,就直接丢弃,以便快速追上发送消息的进度。