知识卡片
金丝雀指标要能指示问题
只看成功率不够——延迟变成 10 倍、内存用量变成 10 倍也是问题。但并非所有指标都适合评估金丝雀。
指标应能指示问题:什么算“问题”并不总是客观的(失败请求算,请求慢 10%、内存多 10% 呢?)。建议从 SLI 开始:好的 SLI 与服务健康强相关,已经为 SLO 测量的话可以复用。几乎所有指标都可能出问题,但加太多指标有代价:每个指标都要正确定义可接受行为——过严误报多(好部署被判坏),过松漏掉坏部署;定义可接受行为既耗时又需分析,做不好结果会完全误导,而且要随服务演进定期重新评估。按指标反映用户可感知问题的程度排序,只选前几个(也许不超过十二个)——太多则收益递减,维护成本抵消收益,或损害对发布流程的信任。
示例:候选指标有 CPU 使用率、内存、HTTP 返回码、响应延迟、正确性等。最好的是 HTTP 返回码和响应延迟——它们的降级最接近影响用户的实际问题。CPU 使用率没用:资源增加不一定影响服务,还会让金丝雀流程变脆弱、嘈杂,最终被操作员禁用或忽略,失去意义。404 的陷阱:可能是用户拿到了错误 URL(论坛上流传的坏链接),也可能是服务器错误地不再提供资源——通常从金丝雀评估中排除 4xx,另加黑盒监控测试特定 URL 是否存在,并把黑盒数据纳入金丝雀分析,隔离奇怪的用户行为。
指标应有代表性且可归因:指标变化应能明确归因于本次变更,不受外部因素影响。大规模下会有异常机器(超售、内核不同、网络过载),金丝雀与对照组的差异可能来自基础设施——扩大金丝雀规模能缓解,并要关注指标是否方差过大。还要注意共享故障域:坏的金丝雀可能拖累对照组,系统中的坏行为也可能让金丝雀被误判。指标要隔离:整机 CPU 飙升可能来自同机的数据库负载、日志轮转;更好的是进程服务请求所花的 CPU 时间,更好的是进程实际被调度到 CPU 期间服务请求的 CPU 时间。超售机器当然是问题(监控应该抓到),但不是本次变更引起的,不应判金丝雀失败。指标还要能与 SLI 挂钩——能剧烈变化却不影响服务的指标做不成好的金丝雀指标。
译文提示:本书为社区机器辅助译本,本卡按上下文和官方英文版理解,引文保留中文原样。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第16章 金丝雀发布 · 查看原书依据
我们通常建议使用SLI作为开始考虑金丝雀指标的地方。