知识卡片
有效参数个数与自由度
Cp、AIC、BIC 的惩罚项都写着参数个数 p,但 p 只对参数个数明确的模型有意义;带约束、带正则化的模型参数个数说不清(岭回归有 p 个系数却明显更「简单」)。推广的办法是看拟合算子的自由度:若预测值可写成 ŷ=Sy,S 为 n×n 矩阵、只依赖 X 不依赖 y,则称线性估计,原始变量或基函数上的多元回归、岭回归、样条回归都属于此类。定义有效参数个数 df(S)=trace(S),即 S 对角元素之和,也称有效自由度。当 S 是 M 个基函数张成空间上的正交投影时 trace(S)=M,正好顶替 Cp 里的变量个数。对可加模型 Y=f(X)+ε 还有用协方差表示的更一般定义。有了它,上述准则就能用于非线性、带惩罚的模型。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第4章 模型评价与选择 · 查看原书依据
有效参数个数(effective number of parameters)的定义为df(S)=trace(S),即S的对角元素的和,也叫作有效自由度(effective degrees-of-freedom)。
参考来源
- 位置:《大数据挖掘与统计机器学习》第4章 模型评价与选择(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter6_0002.xhtml,4.2.4 有效参数个数)
- 结论依据:原文定义线性估计 ŷ=Sy 与有效参数个数 df(S)=trace(S),指出正交投影时等于基函数个数 M,并给出更一般的定义。
- 原始内容:有效参数个数(effective number of parameters)的定义为df(S)=trace(S),即S的对角元素的和,也叫作有效自由度(effective degrees-of-freedom)。