知识卡片

普通读书笔记卡 · 966.d.1

小概率人为失误也要防住

理解等级:中级

阿波罗项目中,误触 P01 子程序会清掉导航数据。Margaret Hamilton 申请加状态检查,管理层以“训练有素的宇航员不会犯这种错”为由驳回,她只好在手册里写明“飞行中勿触发 P01”并备好恢复办法。几天后 Apollo 8 宇航员恰好误触,正是这份预案救了任务。教训是:对系统多熟悉都挡不住意外操作,发生概率低不等于可以不防,至少要有可执行的恢复预案。发散:评审时把“没人会这么做”当作需要论证的假设。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 序言 · 查看原书依据

      凭借着 SRE的直觉,Margaret 为项目组提交了一个软件改动,申请在飞行程序中增加一项特殊状态检查,以避免飞行员在飞行过程中意外触发P01程序的执行。但不幸的是,NASA 管理层认为,这项错误发生的可能性太小,根本不值得为此添加这项修改。于是Margaret 没有能够成功提交这项软件修改。她只能在火箭飞行手册中添加了一段文字,写道:“在飞行过程中,请勿触发P01程序。”(当时增加这段文字时,很多NASA工程师都认为这很好笑,认为Margaret 是小题大做,几乎所有人都认为宇航员经过如此长时间的专业训练,是绝对不会犯如此低级的错误的。) 几天后,在Apollo 8飞船执行下一项飞行任务时。宇航员 Jim Lovell、William Anders和Frank Borman 三人执行一个长达四天的飞行计划途中,Jim Lovell 意外地触发了 P01程序的执行。更巧的是,当天正好是美国圣诞节,大部分工程师都休假去了。可想而知,当时NASA的一片混乱状态。这次不是演习,而是人命关天的危急时刻,如果不能及时解决,三名宇航员将永远无法安全返回了。所幸,当时 Margaret 的飞行手册更新中恰恰提到了这种情形,并且提供了重新上传数据以及恢复执行的有效办法,在有限的时间内解决了问题,使任务可以继续进行。 Margaret 曾经说过:“无论对一个软件系统运行原理掌握得多么彻底,也不能阻止人犯意外错误。”在这次危机过后,Margaret 之前提交的修改申请很快就被批准了。

    参考来源

    - 位置:《SRE:Google运维解密》序言(源文件:`_epub-src/OEBPS/Text/0006.xhtml`) - 结论依据:原文用 P01 事件说明低概率的人为误操作真实发生,事先的手册预案提供了恢复办法,事后修改才被批准,并引 Hamilton 的话作结。 - 原始内容:NASA 管理层认为,这项错误发生的可能性太小,根本不值得为此添加这项修改……Margaret 曾经说过:“无论对一个软件系统运行原理掌握得多么彻底,也不能阻止人犯意外错误。”在这次危机过后,Margaret 之前提交的修改申请很快就被批准了。