知识卡片
家得宝的VALET框架
背景:家得宝(2200 多家门店、年 15 亿笔交易)从集中支持大型单体转向小团队自运维的微服务,配合“自由与责任”的全栈所有权文化。相互依赖的服务需要回答:你的服务有多可靠(几个 9?有计划停机吗)?延迟多少?能承受我的请求量吗、过载怎么处理?原来没有 SLO 文化,监控工具和仪表板很多但分散、不跟踪历史;排障常从界面层一路往回查;计划停机让依赖方措手不及;衡量门店应用可靠性的唯一方式是内部支持电话数量。
四个方面推动:统一语言(定义 SLO 与度量方式);布道(培训材料、路演、博客、T 恤贴纸、早期采用者、FiRE 学院);自动化(自动采集所有上线服务的 SLI);激励(把设定和度量 SLO 写入所有开发经理的年度目标)。
第一批 SLO 的取舍: - API 调用的可用性与延迟:每个微服务都要为被其他微服务调用的 API 发布 SLO(如库存服务供购物车服务查阅); - 不设利用率 SLO:只要能扛住流量、启动快、响应快、不报错,用户并不关心利用率;且即将上云,成本规划比容量规划更重要(仍要监控利用率); - 流量:跟踪平均每秒、峰值每秒和周期总量,由服务自选;虽然流量取决于用户而非自己,但零售商必须为黑色星期五这类高峰定规模,所以按预期峰值设 SLO; - 延迟:服务自定义并自选测点,但要在白盒之外补充黑盒监控(捕获网络、缓存、代理等外部问题);用百分位而非平均值,至少 90 分位,面向用户的服务首选 95/99; - 错误:规范 HTTP 状态码——不在 2xx 的响应体里报错;服务自身问题返回 5xx,客户端问题返回 4xx;两者都跟踪,但只用 5xx 设 SLO;批处理的错误可以是未能处理的记录数; - 工单:出于历史原因继续跟踪。
VALET:Volume(容量/流量)、Availability(可用性)、Latency(延迟)、Errors(错误)、Tickets(工单——是否需要人工干预才能完成请求)。
译文提示:本书为社区机器辅助译本,本卡按上下文和官方英文版理解,引文保留中文原样。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第3章 SLO工程案例研究 · 查看原书依据
我们将新的SLO总结为一个方便的缩写:VALET