p值与第一类、第二类错误

p值是”假定原假设成立时，观测到比当前数据更极端结果”的概率——p值小于显著性水平（如0.05），就说明当前观测到的偏差极不寻常，可以判定为有显著性差异。一个容易被滥用的陷阱是：拒绝域必须在抽样之前就定好，如果先看到数据、发现5%拒绝不了原假设，就临时把显著性水平放宽到10%凑出”显著”结果，这种事后调整会让检验彻底失去意义。检验的结论终究只是概率性判断，不是绝对正确，因此存在两类错误：第一类错误（错误排除）是原假设本来正确却被误判拒绝；第二类错误（错误肯定）是备择假设本来正确却被放过、误接受了原假设。两类错误天然存在此消彼长的张力：把拒绝域收得越紧（降低第一类错误概率），越容易放过真正的异常（提高第二类错误概率），检验设计本质上是在这两种错误代价之间做取舍，而不是同时把两者都降到零。