知识卡片

普通读书笔记卡 · 5317.a

管道的金丝雀与部分部署

理解等级:中级

管道的开发生命周期与其他系统差别不大,但有自身特点:

  • 原型:验证语义、确保能表达业务逻辑;选择合适的语言和编程模型(Dataflow 与 MapReduce、批与流);给现有管道加功能时在原型阶段加代码和单元测试;
  • 1% 试运行:用生产数据在整个栈上跑小规模——实验数据集,或在非生产环境用 1% 的生产数据空跑;逐步放大并跟踪性能,避免瓶颈;发布后做性能测试;
  • 预生产(演练)环境:数据尽量接近真实——保留生产数据的完整副本或有代表性的子集;单元测试解决不了所有管道问题,要让数据端到端流过以发现集成问题;对新生成的数据与已知正常的旧数据做 A/B 比较,认证发布前检查是否有预期外的差异;
  • 金丝雀:管道测试比无状态作业更费力——数据会持久化、转换复杂。金丝雀绑定到整个管道而不是单个进程:可以处理与线上管道相同的生产数据,但跳过写入生产存储(两阶段变更有帮助),往往要等整个处理完成才能发现影响客户的问题,然后把金丝雀结果与线上结果比较。按任务或按区域逐步推进的做法对管道常常行不通——复制数据的管道(Dataproc、Dataflow 用区域端点)不能单独重载一个单元,多宿主管道也无法像服务那样只部署到一个区域——改为先处理一小部分数据或先空跑。验证金丝雀可以用跟踪 SLO 的同样指标,适合自动化;
  • 部分部署:重大功能或影响性能和资源的变更,用标志或配置让管道只接受一部分数据——先一两个账户,再约 1%、10%、50%、100%。输入数据错误或延迟、处理 bug、存储问题都可能导致中断——别把一批损坏的数据推到低延迟前端;
  • 全量部署:出错时能快速回到已知良好状态(回滚二进制),并把可能损坏的数据标记为坏数据(用备份替换、确保没有作业读取它、必要时重处理)。

译文提示:本书为社区机器辅助译本,本卡按上下文和官方英文版理解,引文保留中文原样。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《谷歌站点可靠性工作手册》第13章《第13章 数据处理管道》13 映射您的开发生命周期(源文件:extracted/谷歌站点可靠性工作手册/_epub-src/OEBPS/Text/19.html,来源项目 book-sources) - 结论依据:第13章开发生命周期一节说明原型、1%生产数据试运行、使用生产数据副本的演练环境与A/B比较、绑定整个管道且跳过生产写入的金丝雀(及区域端点等限制)、按账户和比例的部分部署、全量部署后的回滚与坏数据标记。 - 原始内容:金丝雀绑定到整个管道,而不是单个进程。