知识卡片
稳定性检验筛掉假发现
稳定性检验问的是:结论是不是换一种做法就没了。两种做法:一是换方法,看不同现有方法是否给出同一个定性结论;二是扰动数据,在数据单元可交换的前提下加噪声或做二次抽样(subsampling,从原样本中重复抽取子样本),扰动后结论仍然成立才可信。二次抽样必须遵守原样本的底层结构,如相关性、聚类特性和异质性,否则抽出的样本不代表原始数据,检验本身失效。它的作用是抗过拟合、抑制过多假阳性、保证可重复;《科学》主编 McNutt 说实验再现是增加结论信度的重要方法,商业与政府同样应要求结论在新的同质数据上可重复。它与数据分割互补:分割防「自己考自己」,稳定性防「换个样本就崩」。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第1章 概述
原书出处 · 1 处
- 第1章 概述 · 查看原书依据
不同的方法会得出同一个定性的结论吗?举个例子,如果数据单元是可交换的,可以通过添加噪声或二次抽样对数据进行随机扰动(一般来说,应确定二次抽样样本遵守原样本的底层结构,如相关性、聚类特性和异质性,这样二次抽样样本才能较好地代表原始数据),这样做得出的结论依然成立吗?
参考来源
- 位置:《大数据挖掘与统计机器学习》第1章 概述(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter3_0003.xhtml,1.3 数据智慧)
- 结论依据:原文列举换方法与加噪声、二次抽样两类稳定性检验,强调二次抽样须保留原样本底层结构,并引用 McNutt 关于可重复性的说法。
- 原始内容:不同的方法会得出同一个定性的结论吗?举个例子,如果数据单元是可交换的,可以通过添加噪声或二次抽样对数据进行随机扰动(一般来说,应确定二次抽样样本遵守原样本的底层结构,如相关性、聚类特性和异质性,这样二次抽样样本才能较好地代表原始数据),这样做得出的结论依然成立吗?