← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 5304.d.2

为依赖失败做计划并写文档

理解等级:中级

不要过度依赖别人的 SLO/SLA:识别第三方依赖后,至少按其公布 SLA 中最坏的故障来设计。例如读写 Cloud Storage 的管道,若单区域正常运行时间保证低于管道满足 SLO 所需,就跨区域复制数据。管道若依赖比服务商承诺更严格的保证,即使服务商仍在 SLA 内,自己也可能失败——有时务实的做法是接受较低的可靠性,给客户更宽松的 SLA。

Google 的做法:用计划内中断(灾难恢复测试 DiRT)模拟区域故障。为此设计过的管道会自动故障转移到另一区域;其他管道要等操作员收到告警再手动转移——前提是能在另一区域获取足够资源启动生产栈;手动转移失败最好情况是延长中断,最坏是继续处理过时数据,把陈旧或错误的数据带给下游;若正确数据被错误数据覆盖,可能要从备份恢复并重处理。总之:为依赖不可用的那一天做准备,定期演练常见和罕见的故障,尽量自动化系统响应。

三类文档: - 系统图:画出每个组件(管道应用和数据存储)及每一步的转换——每个都可能卡住或引入错误;附上各阶段监控和调试的快速链接,最好显示实时状态(等待依赖/处理中/完成)和历史运行时间,以便发现变慢;系统图也帮助开发者在功能发布时分析数据依赖; - 过程文档:常见任务(发布新版本、修改数据格式),以及少见的手工任务(在新区域首次上线、最终下线);写完就考虑自动化;已自动化的,考虑从源代码生成文档保持同步; - 剧本条目:每个告警条件都有对应的恢复步骤,并链接在发给值班者的告警消息里。

译文提示:本书为社区机器辅助译本,本卡按上下文和官方英文版理解,引文保留中文原样。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《谷歌站点可靠性工作手册》第13章《第13章 数据处理管道》13 依赖失败计划;创建和维护管道文档(源文件:extracted/谷歌站点可靠性工作手册/_epub-src/OEBPS/Text/19.html,来源项目 book-sources) - 结论依据:第13章依赖失败计划一节主张按依赖SLA最坏情况设计、必要时跨区域复制或接受更宽松SLA,介绍Google用DiRT模拟区域中断检验自动与手动故障转移;文档一节建议维护带实时链接的系统图、过程文档(并自动化或从源码生成)与链接在告警中的剧本。 - 原始内容:总而言之,良好的做法是为您所依赖的系统不可用的那一天做好准备。