知识卡片
SSE与MSE不是一回事
残差平方和 SSE 是一次抽样后的统计量取值:数据给定,β̂ 就定了,SSE 也随之定。MSE 是估计量的性质,按估计量的抽样分布计算,MSE(β̂)=E(β̂-β)²=偏差²+方差,对一种估计方法是一个常数。最小二乘无偏(偏差为 0)但方差大,换一批样本,β̂ 会围绕真值 β 大幅波动;岭回归与 Lasso 有偏,方差却小,MSE 可能更小,所以在这一意义上优于最小二乘。因此比较估计量不能只看“是否无偏”,还要看二阶矩。这也解释了为什么调节参数 k、λ 的选择,本质是偏差与方差的权衡。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第2章 线性回归方法 · 查看原书依据
MSE 是估计量的均方误差,是一个常数,定义为 ,可以分解成 ,即估计量的偏差平方加上估计量的方差。
参考来源
- 位置:《大数据挖掘与统计机器学习》第2章 线性回归方法(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter4_0002.xhtml,2.2.3 一张图看懂岭回归和Lasso回归)
- 结论依据:原文专门区分 SSE 与 MSE,说明估计量是随机变量、MSE 可分解为偏差平方加方差,并据此评价岭回归与 Lasso。
- 原始内容:MSE 是估计量的均方误差,是一个常数,定义为 ,可以分解成 ,即估计量的偏差平方加上估计量的方差。