知识卡片
额度货币化分布式限流
分布式限流最直接的做法是把统计数据存进 Redis 并配合分布式锁,但每次调用都多一次网络开销,流量越大,限流本身越拖累系统。一种改造是把[[漏桶与令牌桶]]中的令牌“货币化”:请求进入集群时在网关领取一笔额度;每访问一个服务按其成本扣减,额度大于零就在本地判断放行,耗尽时才联网重新申领,失败则降级。代价是精度下降,业务可能在中途因申领不到额度而失败、浪费已完成部分,换来的是绝大多数判断无需网络往返。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 流量治理 · 查看原书依据
只要集中存储统计信息,就不可避免地会产生网络开销,所以,为了缓解这里产生的性能损耗,一种可以考虑的办法是在令牌桶限流模式基础上进行“货币化改造”,即不把令牌看作只有准入和不准入的“通行证”,而看作数值形式的“货币额度”
参考来源
- 位置:《凤凰架构:构建可靠的大型分布式系统》第8章"流量治理"8.2.3节
"分布式限流"(源文件:_epub-src/OEBPS/Text/chapter103.xhtml)
- 结论依据:原文说明集中式缓存方案每次调用都需额外网络开销、效率不高,
进而提出基于令牌桶的"货币化"额度方案,在API网关领取额度、本地扣减
判断,只在额度耗尽时才发起网络请求,并指出这种方案牺牲精确度换取
性能,限流不追求"越彻底越好",直接支撑本卡片结论。
- 原始内容:只要集中存储统计信息,就不可避免地会产生网络开销,所以,为了缓解这里产生的性能损耗,一种可以考虑的办法是在令牌桶限流模式基础上进行“货币化改造”,即不把令牌看作只有准入和不准入的“通行证”,而看作数值形式的“货币额度”。……此时,我们可以把剩余额度LimitN作为内部限流的指标,规定在任何时候,一旦剩余额度LimitN小于或等于0,就不再允许访问其他服务了。此时必须先发生一次网络请求,重新向令牌桶申请一次额度,成功后才能……但限流与容错不一样,做分布式限流从不追求“越彻底越好”,往往需要权衡方案付出的代价与得到的收益。