知识卡片

普通读书笔记卡 · 1578.e

用自动切换拥抱故障

理解等级:高级

MySQL 迁到集群调度系统后,任务每周被移动一两次,手动故障转移每次 30~90 分钟,最多做到 99% 可用,而错误预算要求每次停机少于 30 秒。团队于是写了自动切换程序,95% 的情况下 30 秒内完成,思路从“避免故障转移”转为“承认故障不可避免、靠自动化快速恢复”。代价是应用都要加错误处理,不能再假设数据库最稳定;收益是运维时间降 95%。发散:预算算出人工做不到时,自动化就是唯一选项。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《SRE:Google运维解密》第7章《Google 的自动化系统的演进》(源文件:`_epub-src/OEBPS/Text/0008_0005.xhtml`) - 结论依据:原文用 MySQL on Borg 案例给出手动转移的时长与可用性上限、30 秒的预算约束、决策者程序的效果及应用侧代价,并总结为拥抱失败的模式转变。 - 原始内容:我们从不断优化基础设施以避免进行故障转移的模式转化为拥抱失败,承认故障是不可避免的,并因此通过自动化进行快速恢复的模式。