知识卡片
Waze替换濒临崩溃的消息队列
背景:Waze 2013 年被 Google 收购后,用户、工程师和计算基础设施显著增长,但仍相对自主运作。他们以小组工程师自下而上的技术响应应对挑战,而不是正式的结构化变革——但传播变化的方式与 Kotter 模型非常相似(本案例是追溯映射)。
紧迫感:消息队列是 Waze 所有组件(实时、地理编码、路由等)互相通信的基础;吞吐量大增后系统扛不住,中断越来越频繁严重,SRE 需要越来越频繁地手动干预——最糟时整个 SRE 团队 24⁄7 救火两周,最后靠每小时重启部分组件维持消息流动。SRE 同时负责构建和发布 Waze 所有软件,救火占满时间,功能速度显著下降。工程师强调严重性,说服领导重新排定优先级、投入可靠性工作。
指导联盟与愿景:两名 SRE 和一名高级工程师组成联盟,形成“不再需要 SRE 琐事维持消息流动”的愿景;评估现成消息队列产品后认定只有自研才能满足扩展和可靠性要求。
消除行动障碍:不维持运行就不可能自研。联盟从使用旧队列的团队招募开发者“志愿军”,每个团队检查代码减少发布的消息量;清理不必要的消息,在旧队列上加压缩层;为占系统流量 30% 以上的一个组件建立专用队列——争取到两个月时间组装和测试新系统原型。
渐进迁移:迁移每秒数万条消息的系统本就艰巨,逐步降低旧系统负载能延长可用时间。SRE 重建客户端库,可通过集中控制界面切换流量,用一个或两个系统收发消息。
短期胜利:新系统可用后,先挑几条低流量、高重要性、曾导致中断的消息流双写两个系统作为备用路径——一次险情中旧系统摇摇欲坠,备用路径保住了核心服务,证明了投资的合理性。
巩固并加速:大规模迁移需要 SRE 与使用团队紧密合作,确定如何支持其用例、协调切换;SRE 自动化了流量迁移,新系统默认支持更多用例,迁移显著加速。
制度化:势能足够后,宣布旧系统弃用不再支持,几个季度后迁完最后的落伍者。如今新系统处理的负载是旧系统的 1000 倍以上,几乎不需要 SRE 人工干预。
译文提示:本书为社区机器辅助译本,本卡按上下文和官方英文版理解,引文保留中文原样。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第21章 SRE中的组织变革管理 · 查看原书依据
如今,新系统处理的负载是上一个系统的1000倍以上,并且几乎不需要SRE的人工干预即可提供持续的支持和维护。