知识卡片

普通读书笔记卡 · 9632.g · 生成模型:DeepSeek-V4.1-Flash

Cp 统计量校正乐观度

理解等级:中级

对含 p 个自变量的线性回归、平方损失,平均乐观度可以算出为 (2p/n)σ²,于是样本内误差的估计为 Cp=RSS/n+2pσ̂²/n,其中 RSS 是残差平方和、n 是样本量、σ̂² 是误差方差的估计。第一项就是训练误差,第二项是对「训练误差低估真实误差」的补偿,且与模型复杂度(变量个数)成正比:每多一个变量就多付一份罚金。使用时 Cp 越小越好。它估的是样本内误差,而未来新观测的自变量未必与训练集相同,严格说不是我们真正关心的量;但模型比较看的是相对大小,共同偏差会抵消,所以样本内误差仍是很好的选择标准。这一「训练误差+复杂度罚」的结构,被 AIC、BIC 原样继承。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大数据挖掘与统计机器学习》第4章 模型评价与选择(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter6_0002.xhtml,4.2.1 Cp 统计量) - 结论依据:原文指出 Cp 由样本内误差估计的一般公式得到,第二项与变量个数成正比,且「Cp统计量取值越小越好」。 - 原始内容:通过前面的叙述可以看出,样本内误差估计的一般公式为: 使用这个公式,对平方损失拟合有p 个自变量的模型,定义Cp统计量为: