知识卡片
随机测试要记录种子重跑
模糊测试、混沌测试、分布式一致性测试这类统计学手段不一定可重复,代码修改后跑一次通过,不能证明问题已修复。但它们仍有用:记录每次随机选择的动作顺序,有时记下随机数种子就够;把记录变成发布测试,研究错误前多跑几次,用重现频率估计是否修好;问题的不同表现形式能帮助定位可疑代码;多跑几次还可能发现问题比想象的严重,据此升级优先级。发散:对概率性问题,要用频率而非单次结果下结论。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第17章 测试可靠性 · 查看原书依据
统计学手段,例如用于模糊测试的Lemon(参见文献[Ana07]),用于测试分布式状态的Chaos Monkey[61]以及Jepsen[62],不一定是可以重复执行的测试。仅仅在代码修改后运行一次这些测试,不能确定地证明相应的问题已经修复。[63]但是这些手段还是很有用的: ● 这些测试可以在某次测试中,提供所有随机选择的动作执行顺序的记录。有时候仅仅是靠记录随机数发生器的种子值就够了。
参考来源
- 位置:《SRE:Google运维解密》第17章《测试可靠性》(源文件:`_epub-src/OEBPS/Text/0009_0008.xhtml`)
- 结论依据:原文指出 Lemon、Chaos Monkey、Jepsen 等统计学工具不可重复,并列出记录执行序列、重跑估计频率等使其有用的方法。
- 原始内容:统计学手段,例如用于模糊测试的Lemon(参见文献[Ana07]),用于测试分布式状态的Chaos Monkey[61]以及Jepsen[62],不一定是可以重复执行的测试。