知识卡片

普通读书笔记卡 · 5263

随机测试要记录种子重跑

理解等级:中级

模糊测试、混沌测试、分布式一致性测试这类统计学手段不一定可重复,代码修改后跑一次通过,不能证明问题已修复。但它们仍有用:记录每次随机选择的动作顺序,有时记下随机数种子就够;把记录变成发布测试,研究错误前多跑几次,用重现频率估计是否修好;问题的不同表现形式能帮助定位可疑代码;多跑几次还可能发现问题比想象的严重,据此升级优先级。发散:对概率性问题,要用频率而非单次结果下结论。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第17章 测试可靠性 · 查看原书依据

      统计学手段,例如用于模糊测试的Lemon(参见文献[Ana07]),用于测试分布式状态的Chaos Monkey[61]以及Jepsen[62],不一定是可以重复执行的测试。仅仅在代码修改后运行一次这些测试,不能确定地证明相应的问题已经修复。[63]但是这些手段还是很有用的: ● 这些测试可以在某次测试中,提供所有随机选择的动作执行顺序的记录。有时候仅仅是靠记录随机数发生器的种子值就够了。

    参考来源

    - 位置:《SRE:Google运维解密》第17章《测试可靠性》(源文件:`_epub-src/OEBPS/Text/0009_0008.xhtml`) - 结论依据:原文指出 Lemon、Chaos Monkey、Jepsen 等统计学工具不可重复,并列出记录执行序列、重跑估计频率等使其有用的方法。 - 原始内容:统计学手段,例如用于模糊测试的Lemon(参见文献[Ana07]),用于测试分布式状态的Chaos Monkey[61]以及Jepsen[62],不一定是可以重复执行的测试。