知识卡片
Cp 统计量校正乐观度
对含 p 个自变量的线性回归、平方损失,平均乐观度可以算出为 (2p/n)σ²,于是样本内误差的估计为 Cp=RSS/n+2pσ̂²/n,其中 RSS 是残差平方和、n 是样本量、σ̂² 是误差方差的估计。第一项就是训练误差,第二项是对「训练误差低估真实误差」的补偿,且与模型复杂度(变量个数)成正比:每多一个变量就多付一份罚金。使用时 Cp 越小越好。它估的是样本内误差,而未来新观测的自变量未必与训练集相同,严格说不是我们真正关心的量;但模型比较看的是相对大小,共同偏差会抵消,所以样本内误差仍是很好的选择标准。这一「训练误差+复杂度罚」的结构,被 AIC、BIC 原样继承。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第4章 模型评价与选择 · 查看原书依据
通过前面的叙述可以看出,样本内误差估计的一般公式为: 使用这个公式,对平方损失拟合有p 个自变量的模型,定义Cp统计量为:
参考来源
- 位置:《大数据挖掘与统计机器学习》第4章 模型评价与选择(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter6_0002.xhtml,4.2.1 Cp 统计量)
- 结论依据:原文指出 Cp 由样本内误差估计的一般公式得到,第二项与变量个数成正比,且「Cp统计量取值越小越好」。
- 原始内容:通过前面的叙述可以看出,样本内误差估计的一般公式为: 使用这个公式,对平方损失拟合有p 个自变量的模型,定义Cp统计量为: