知识卡片
静态成员减少抖动
百万QPS下,一次短暂的消费抖动就可能堆积上亿条消息,而每次rebalance都会造成抖动,扩缩容又让它更频繁。Static Membership给每个消费者一个固定实例ID,重启时ID不变、分区不变,不触发全局rebalance;实例数变化时再用Cooperative策略只挪动少量分区。扩缩容也配合:优先纵向调整单实例规格,到上下限才改实例数。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《Serverless核心技术和大规模实践》第6章《FaaS触发器》(源文件:_epub-src/text/part0012_split_003.html)
- 结论依据:原文说明百万QPS下短时抖动即造成亿级堆积,每次扩缩容都引起rebalance;采用Static Membership为消费者分配固定实例ID,重启时分区不变、不触发全局rebalance,扩缩容优先纵向,达到规格上下限再横向。
- 原始内容:因为在百万级别的QPS下,短时的抖动可能瞬间就会带来亿级别的消息堆积。……Static Membership策略简单来说就是为每个MQ Consumer分配一个固定的实例ID,当这个实例发生重启时,只要ID不变,这个实例被分配的Partition就不会改变……同时,为了能最大化利用Static Membership策略,在扩缩容的时候会优先进行纵向扩缩容,当达到单个实例规格的上限或者下限后再进行横向实例数的调整。