知识卡片
负载管理工具会互相干扰
三类工具同一目标:负载均衡、减载(load shedding)、自动扩缩都为了均衡和稳定负载,但通常由不同的人分别实现、配置,看似独立,实则相互作用。
Dressy 案例:一家网上卖礼服的公司在三个区域部署应用。某天上午流量上涨,区域 A 先到 120 RPS,随后涨到 400 RPS,而 B、C 跌到 40 RPS 并稳定在此——打到 A 的请求大多返回 503。原因:本周早些时候为防级联过载启用了减载——CPU 超过阈值时对新请求直接返回错误。A 稍早达到阈值,开始拒绝 10%、20%、50% 的请求,CPU 却保持不变。而负载均衡器是按 CPU 利用率感知容量的:在它看来,A 的“每请求 CPU 成本”降到了 B、C 的十分之一,A 在 80% CPU 时能“服务”240 RPS,B、C 只有 120——于是把更多流量送往 A。负载均衡器不知道这些“高效”请求其实是错误,因为两个系统没有通信,也没人把它们当作一个统一的负载管理系统审视。修复办法之一:在负载均衡逻辑中把每个错误请求按超过 100% 的 CPU(如 120%)计入,A 就会显得过载,流量重新分散。
一般原则:引入新的负载管理工具时,检查它与已有工具如何交互、在哪里交叉;加监控检测反馈环;确保紧急关闭能在整个负载管理系统中协调,必要时加自动关闭触发器。
具体预防: - 负载均衡 + 自动扩缩可能形成正反馈:需求集中在某地,该地不断扩大,流量越来越往那里送,直到容量都集中在一处——一旦它故障,其余地方过载且无法立即扩容。为每个位置设最小实例数,保留故障转移的备用容量; - 减载:阈值要设得让系统先自动扩容、后开始减载,否则会丢掉本可通过扩容满足的流量; - 用 RPC 截止时间管理负载:没有截止时间时,系统会为进行中的请求保留资源直到默认的很长期限,延迟升高、资源(如内存)可能耗尽而崩溃。服务端应终止耗时太长的请求,客户端应取消对它已无用的请求(客户端已向用户返回错误,服务端就不该再启动昂贵的搜索);在 API 的 .proto 注释中建议默认截止时间,客户端设置有意的期限(参见 gRPC 与 Deadlines)。
结论:没有完美的流量管理配置;自动扩缩强大但容易出错,单独配置的负载均衡、减载、扩缩之间可能出现灾难性反馈环。当服务全部同步失败时,任何减载、扩缩或限流都救不了它(如宝可梦案例中客户端同步重试叠加等待无响应后端的负载均衡器)——要提前规划缓解手段:设置标志、改变默认行为、启用昂贵的日志,或公开流量管理系统决策所用参数的当前值。
译文提示:本书为社区机器辅助译本,本卡按上下文和官方英文版理解,引文保留中文原样。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第11章 管理负载 · 查看原书依据
简而言之,负载均衡器不知道"有效"请求是错误的,因为负载削减和负载均衡系统没有通信。