知识卡片
最小二乘正规方程约束残差
设 A∈ℝ^{m×n} 的每一行是一条观测的特征,c∈ℝ^n 是待求系数,y∈ℝ^m 是观测值。最小化残差平方和 ‖Ac−y‖²,展开为 cᵀAᵀAc−2yᵀAc+yᵀy;对 c 求导并令导数为零,得到正规方程 AᵀAc=Aᵀy。
这个方程也表示残差 y−Ac 与 A 的每一列正交。若 A 满列秩,即各列线性无关,则 AᵀA 正定且可逆,最小二乘解唯一。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第28章 矩阵运算 · 查看原书依据
In statistics, equation (28.21) is called the normal equation. The matrix ATA is symmetric by Exercise D.1-2, and if A has full column rank, then by Theorem D.6 on page 1222, ATA is positive-definite as well. Hence, (ATA)−1
参考来源
- 位置:《算法导论(第4版)》第28章《矩阵运算》(OEBPS/chapter028.xhtml,文本字符[35000,40000))。
- 结论依据:原文由残差平方和的一阶条件得到式(28.21)正规方程,并指出满列秩时 `AᵀA` 正定可逆。
- 原始内容:In statistics, equation (28.21) is called the normal equation . The matrix A T A is symmetric by Exercise D.1-2, and if A has full column rank, then by Theorem D.6 on page 1222, A T A is positive-definite as well. Hence, ( A T A ) −1