知识卡片
前后对比与渐进金丝雀
前后对比的风险:旧系统被新系统完全替换,比较变更前后一段时间的行为——“时间维度上的金丝雀”,按时间而非机器或 cookie 划分 A/B 组。但时间是指标变化的最大来源之一,性能下降也可能本来就会在系统中发生;时间越长越棘手——周一发布可能拿工作日和周末比较,用户行为差异带来大量噪声。还要权衡:前后对比带来大的错误尖峰,小金丝雀带来小而可能更长的错误率;前后对比也许更快发现问题,但总恢复时间未必更短,期间用户都在受影响。
渐进金丝雀:不完全理想的指标仍有价值,可以用多阶段金丝雀引入。第一阶段对新版本一无所知,用很小的阶段把负面影响降到最低,优先用最能清楚指示问题的指标(崩溃、请求失败);通过后扩大规模,增强对变更影响分析的信心。
依赖与隔离:金丝雀与对照组可能共享后端、前端、网络、存储,甚至通过客户端交互——第一个请求落在金丝雀,其响应改变了第二个请求的内容,而第二个请求落到对照组,改变了对照组的行为。后果:金丝雀判定应停止并调查时,不一定是金丝雀有错;坏的金丝雀也会拖累对照组,A 与 B 可能同时变化——所以还要用绝对测量(定义好的 SLO)确认系统整体正常。
非交互系统(异步管道,另见第13章):金丝雀最短时长要跨过单个工作单元的处理时长(渲染、视频编码可能很长);多阶段管道中工作单元会回到池中由其他 worker 处理——要保证处理某个工作单元的 worker 始终来自同一个池(金丝雀池或对照池),否则信号越来越混杂;指标可能关注端到端处理时间和处理质量(完全取决于应用)。
监控数据要求:5% 金丝雀 20% 错误,整体监控只看到 1%,可能与其他错误源无法区分——必须能按金丝雀与对照组细分指标。另一个陷阱是聚合周期:用“每小时错误数”评估 30 分钟的金丝雀,部署前无关事件造成的错误会让金丝雀被判坏——指标的统计间隔应等于或小于金丝雀时长。
译文提示:本书为社区机器辅助译本,本卡按上下文和官方英文版理解,引文保留中文原样。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第16章 金丝雀发布 · 查看原书依据
使用指标评估金丝雀的成功时,请确保指标的间隔等于或小于金丝雀的持续时间。