知识卡片

普通读书笔记卡 · 1567.b.1.b

家得宝的VALET框架

理解等级:中级

背景:家得宝(2200 多家门店、年 15 亿笔交易)从集中支持大型单体转向小团队自运维的微服务,配合“自由与责任”的全栈所有权文化。相互依赖的服务需要回答:你的服务有多可靠(几个 9?有计划停机吗)?延迟多少?能承受我的请求量吗、过载怎么处理?原来没有 SLO 文化,监控工具和仪表板很多但分散、不跟踪历史;排障常从界面层一路往回查;计划停机让依赖方措手不及;衡量门店应用可靠性的唯一方式是内部支持电话数量。

四个方面推动:统一语言(定义 SLO 与度量方式);布道(培训材料、路演、博客、T 恤贴纸、早期采用者、FiRE 学院);自动化(自动采集所有上线服务的 SLI);激励(把设定和度量 SLO 写入所有开发经理的年度目标)。

第一批 SLO 的取舍: - API 调用的可用性与延迟:每个微服务都要为被其他微服务调用的 API 发布 SLO(如库存服务供购物车服务查阅); - 不设利用率 SLO:只要能扛住流量、启动快、响应快、不报错,用户并不关心利用率;且即将上云,成本规划比容量规划更重要(仍要监控利用率); - 流量:跟踪平均每秒、峰值每秒和周期总量,由服务自选;虽然流量取决于用户而非自己,但零售商必须为黑色星期五这类高峰定规模,所以按预期峰值设 SLO; - 延迟:服务自定义并自选测点,但要在白盒之外补充黑盒监控(捕获网络、缓存、代理等外部问题);用百分位而非平均值,至少 90 分位,面向用户的服务首选 95/99; - 错误:规范 HTTP 状态码——不在 2xx 的响应体里报错;服务自身问题返回 5xx,客户端问题返回 4xx;两者都跟踪,但只用 5xx 设 SLO;批处理的错误可以是未能处理的记录数; - 工单:出于历史原因继续跟踪。

VALET:Volume(容量/流量)、Availability(可用性)、Latency(延迟)、Errors(错误)、Tickets(工单——是否需要人工干预才能完成请求)。

译文提示:本书为社区机器辅助译本,本卡按上下文和官方英文版理解,引文保留中文原样。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《谷歌站点可靠性工作手册》第03章《第3章 SLO工程案例研究》3 家得宝(Home Depot)的SLO故事:SLO文化项目;我们的第一批SLO(源文件:extracted/谷歌站点可靠性工作手册/_epub-src/OEBPS/Text/08.html,来源项目 book-sources) - 结论依据:第3章家得宝案例说明其微服务与自由责任文化下需要SLO作为共同语言,原有监控分散且只靠支持电话衡量可靠性,从统一语言、布道、自动化、激励四方面推动,并说明API可用性与延迟、不设利用率SLO、按峰值设流量SLO、延迟补黑盒与百分位、只用5xx设错误SLO、跟踪工单等取舍,归纳为VALET。 - 原始内容:我们将新的SLO总结为一个方便的缩写:VALET