知识卡片
最小二乘与正规方程
最小二乘把 β 取为使残差平方和 Q(β)=Σ(yi-β0-β1xi1-…-βpxip)² 最小的值。Q 是 β 的非负二次函数,必有最小值;对 β 求偏导并令其为零,得到正规方程组 XᵀXβ=XᵀY。X 列满秩时 XᵀX 可逆,于是有闭式解 β̂=(XᵀX)⁻¹XᵀY。拟合值可写成 Ŷ=HY,H=X(XᵀX)⁻¹Xᵀ 是对称幂等矩阵(再乘一次仍是自己),残差 e=Y-Ŷ=(I-H)Y。E(eᵀe)=σ²(n-p-1),因此 σ̂²=SSE/(n-p-1) 是误差方差的无偏估计,分母里的 p+1 就是被估计掉的参数个数,n-p-1 是残差自由度。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第2章 线性回归方法 · 查看原书依据
多元线性回归方程中的未知参数β0, β1, …, βp可用最小二乘法来估计,即我们选择β=(β0, β1, …, βp)T使残差平方和 达到最小。
参考来源
- 位置:《大数据挖掘与统计机器学习》第2章 线性回归方法(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter4_0001.xhtml,2.1.1 多元线性回归模型)
- 结论依据:原文由 Q(β) 求偏导得正规方程组,给出 β̂ 的矩阵表达式,并用 H 推导残差与 σ² 的无偏估计。
- 原始内容:多元线性回归方程中的未知参数β0, β1, …, βp可用最小二乘法来估计,即我们选择β=(β0, β1, …, βp)T使残差平方和 达到最小。