知识卡片
"代码跑到100%覆盖率"和"结果被真的检查过"是两回事——很多测试只做到了前者
代码覆盖率只说明测试执行到了哪些状态或分支,不说明测试断言检查了输出。文件写入测试即使执行到100%,若不读回文件核对内容,写错甚至什么都没写也可能通过。覆盖率应与结果断言和风险取舍一起看,不能当作测试有效性的单一证明。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第18章 通过植入缺陷来发现缺陷:变异测试之美 · 查看原书依据
在刚才的这个测试中,我们可能也可以达到100%的代码覆盖率,却漏掉了如此简单的一个漏洞。 在这个测试中,我们至少应该再次打开这个文件并检查它的内容。但是在一般的测试中,我们怎么来对它进行判断?我们怎么判定一个测试的优劣?这是柏拉图悖论(Platos problem)的又一个例子:“谁看管那些看管者?
参考来源
- 位置:《测试之美》第18章《通过植入缺陷来发现缺陷:变异测试之美》(源文件:extracted/程序之美系列套装(6册)团队之美、项目管理之美、架构之美、数据之美、测试之美、安全之美/_epub-src/OEBPS/Text/part0567.xhtml)
- 结论依据:原文用文件写入测试说明执行覆盖不能证明输出正确;因此即使代码路径都运行过,也必须核对结果断言。
- 原始内容:在刚才的这个测试中,我们可能也可以达到100%的代码覆盖率,却漏掉了如此简单的一个漏洞。 在这个测试中,我们至少应该再次打开这个文件并检查它的内容。但是在一般的测试中,我们怎么来对它进行判断?我们怎么判定一个测试的优劣?这是柏拉图悖论(Platos problem)的又一个例子:“谁看管那些看管者?”。幸运的是,我们有方法来对一个测试进行测试,我们有一个非常简单直接的方法来判断一个测试是不是“漂亮”。