← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 1610.a.2

金丝雀指标要能指示问题

理解等级:高级

只看成功率不够——延迟变成 10 倍、内存用量变成 10 倍也是问题。但并非所有指标都适合评估金丝雀。

指标应能指示问题:什么算“问题”并不总是客观的(失败请求算,请求慢 10%、内存多 10% 呢?)。建议从 SLI 开始:好的 SLI 与服务健康强相关,已经为 SLO 测量的话可以复用。几乎所有指标都可能出问题,但加太多指标有代价:每个指标都要正确定义可接受行为——过严误报多(好部署被判坏),过松漏掉坏部署;定义可接受行为既耗时又需分析,做不好结果会完全误导,而且要随服务演进定期重新评估。按指标反映用户可感知问题的程度排序,只选前几个(也许不超过十二个)——太多则收益递减,维护成本抵消收益,或损害对发布流程的信任。

示例:候选指标有 CPU 使用率、内存、HTTP 返回码、响应延迟、正确性等。最好的是 HTTP 返回码和响应延迟——它们的降级最接近影响用户的实际问题。CPU 使用率没用:资源增加不一定影响服务,还会让金丝雀流程变脆弱、嘈杂,最终被操作员禁用或忽略,失去意义。404 的陷阱:可能是用户拿到了错误 URL(论坛上流传的坏链接),也可能是服务器错误地不再提供资源——通常从金丝雀评估中排除 4xx,另加黑盒监控测试特定 URL 是否存在,并把黑盒数据纳入金丝雀分析,隔离奇怪的用户行为。

指标应有代表性且可归因:指标变化应能明确归因于本次变更,不受外部因素影响。大规模下会有异常机器(超售、内核不同、网络过载),金丝雀与对照组的差异可能来自基础设施——扩大金丝雀规模能缓解,并要关注指标是否方差过大。还要注意共享故障域:坏的金丝雀可能拖累对照组,系统中的坏行为也可能让金丝雀被误判。指标要隔离:整机 CPU 飙升可能来自同机的数据库负载、日志轮转;更好的是进程服务请求所花的 CPU 时间,更好的是进程实际被调度到 CPU 期间服务请求的 CPU 时间。超售机器当然是问题(监控应该抓到),但不是本次变更引起的,不应判金丝雀失败。指标还要能与 SLI 挂钩——能剧烈变化却不影响服务的指标做不成好的金丝雀指标。

译文提示:本书为社区机器辅助译本,本卡按上下文和官方英文版理解,引文保留中文原样。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《谷歌站点可靠性工作手册》第16章《第16章 金丝雀发布》16 选择和评估指标;指标应表明问题;指标应具有代表性且可归属的(源文件:extracted/谷歌站点可靠性工作手册/_epub-src/OEBPS/Text/22.html,来源项目 book-sources) - 结论依据:第16章选择金丝雀指标一节建议从SLI出发、按用户可感知程度选取不超过约十二个指标并定义可接受行为,以HTTP返回码与延迟优于CPU使用率、排除4xx并辅以黑盒监控为例,要求指标具代表性、可归因且与同机其他进程隔离。 - 原始内容:我们通常建议使用SLI作为开始考虑金丝雀指标的地方。