故障后果的不可逆性决定人工还是自动化

是否该用自动化替代人工，不该一概而论，而要看错误发生后的后果是否可挽回、代价是否致命。核潜艇 操作一个阀门要求操作员、监督员、工程负责人三方通话确认——一系列人而非单独一个人做决策，因为 担心自动化和计算机运行速度太快，会把本可以被人及时察觉的异常，在人来不及反应之前就酿成无法 挽回的灾难；面对核反应堆，”缓慢而稳健”比”快速完成”重要得多。相反，一次金融交易系统的软件 错误曾在几小时内造成4.4亿美元损失，另一次自动化交易异常在30分钟内造成千亿美元级别的市场 波动——这些案例共同的教训是，计算机的执行速度在配置错误时反而成了负债，速度optimizes for 效率的场景才该交给自动化，速度会放大错误代价的场景则需要人工的减速阀。发散：判断”该不该 自动化”的关键问题不是”人力成本高不高”，而是”一旦出错，错误会以多快的速度、多大的规模扩散 到不可挽回的地步”。