← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 5304.d.6

Spotify的运维与支持

理解等级:中级

降低客户学习成本:完全托管的服务,复杂性藏在定义清楚的 API 后;功能有限——只接受特定内部格式、只输出一种序列化格式到每小时桶,覆盖大多数用例;每类事件的交付必须显式启用,并声明是否涉及财务、及时性要求和事件所有者——明确所有权提高数据质量,事件发生时也有清晰的沟通渠道;把文档当作产品——收到的每个支持请求都被当作文档问题或产品问题处理,目标是客户增长而支持请求减少。

监控:SLO 违反时客户已受影响,所以还要有足够的运维监控在 SLO 破坏前缓解问题;从 CPU 等基本指标开始,逐步细化到各组件。应用日志只收集适量——记录高流量组件的每个请求会淹没有用信息、填满磁盘、拖慢服务;应限速或只记录有意义的请求(如导致未处理异常的)。读日志调试应是最后手段。

容量规划:各组件部署在同一 GCP 项目、共享配额池。多数组件按 CPU 规划——高峰时 CPU 使用率 50% 作为安全边界。自建机房时代静态分配资源,非高峰浪费、突发流量扛不住;改用自动扩缩后起初吃过苦头:自动扩缩依赖“CPU 使用率与工作量紧密相关”,一旦被打破(加了耗 CPU 的守护进程,或实例不干活却大量耗 CPU),就会无限扩展直到用光所有资源。对策:限制最大实例数;严格限制守护进程的 CPU;发现没在做有用工作时积极限制组件 CPU。即使有自动扩缩也要做容量规划:配额要够,最大实例数要高到能扛高峰、又低到能限制失控扩缩的影响。

开发流程:CI/CD,按测试金字塔写测试(大量单元测试、少量公共 API 集成测试、顶层黑盒端到端测试);同行评审、所有测试通过才能合并,合并即触发部署;因为系统关键,分阶段部署且每阶段需人工批准:先到演练环境(镜像一部分生产流量),再到少量生产实例(金丝雀),最后全量。

故障处理:首要是减轻损害、恢复到稳定状态;事件期间不对组件做重大变更,除非确认是新部署代码引起——那就立即回滚。常见故障:自身 bug 或性能下降;外部服务故障(不兼容的 API 更新、违反 SLO)——用 Pub/Sub、Helios 等经过考验的服务加快开发、减轻运维,代价是出事时自己无法缓解、与第三方沟通费时,但他们认为值得;高负载下的意外行为(如前述自动扩缩)。及时性 SLO 破坏时客户只需等待;偏斜度或完整性 SLO 破坏影响数据质量,要让客户参与:不完整就从最后一个已知良好的检查点重新发送,偏斜就把已交付事件重新分配到正确的小时桶——都是手工完成,之后建议客户重处理。

成效:以前的版本可靠性差,工程师隔几晚就被叫醒,大部分冲刺时间花在补救和事后总结;新版本专注做好“交付事件”这一件事,作为产品提供并以 SLO 设定期望,一个团队负责全生命周期的开发和运行,持续改进。

译文提示:本书为社区机器辅助译本,本卡按上下文和官方英文版理解,引文保留中文原样。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《谷歌站点可靠性工作手册》第13章《第13章 数据处理管道》13 客户集成与支持;系统监控;容量规划;开发过程;故障处理;摘要;结论(源文件:extracted/谷歌站点可靠性工作手册/_epub-src/OEBPS/Text/19.html,来源项目 book-sources) - 结论依据:第13章Spotify案例说明其通过托管服务、有限功能、显式启用与明确所有权、把文档当产品来支持客户,监控与适量日志,按高峰50% CPU做容量规划并防止自动扩缩失控,CI/CD与分阶段人工批准部署,事件期间不做重大变更、偏斜与完整性问题需手工重发或重排并通知客户,以及新系统带来的可靠性改善。 - 原始内容:为了防止Autoscaler耗尽我们的所有配额,我们实施了一些解决方法: