知识卡片

普通读书笔记卡 · 5264

测试要在走神前给出结果

理解等级:高级

测试结果只有在工程师转去做下一件事之前才有用,几秒内跑完的密闭测试能提供即时反馈,要协调许多服务器的测试只能算批量测试,只能告诉评审者“还没通过”。测试误报也有代价:一个服务有 21,000 个测试,提交前后各跑一次,若希望因环境误判而错拒的改动不超过 1%,每个测试的正确率要达到约 99.9999%,这很难。发散:大规模测试体系中,单个测试的稳定性要求远高于直觉。参见[[提交即运行受影响的测试]]。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第17章 测试可靠性 · 查看原书依据

      这些测试不能告诉工程师“先不要关掉这个代码编辑器Tab”,而只能告诉代码评审者“这段代码还没有通过测试”。 一个测试的非官方运行截止时间就是当工程师转而处理下一个事情的时候。测试结果只有在工程师走神之前才有用,否则工程师下次走神可能就像XKCD 说的那样了。[64] 假设某工程师正在一个有21,000个简单测试的服务上修改代码,提交了一份修改。

    参考来源

    - 位置:《SRE:Google运维解密》第17章《测试可靠性》(源文件:`_epub-src/OEBPS/Text/0009_0008.xhtml`) - 结论依据:原文提出测试的非官方截止时间是工程师走神之时,区分即时测试与批量测试,并用 21,000 个测试推算出单测需 99.9999% 正确率。 - 原始内容:一个测试的非官方运行截止时间就是当工程师转而处理下一个事情的时候。