知识卡片

普通读书笔记卡 · 3685.a

最小二乘正规方程约束残差

理解等级:中级

设 A∈ℝ^{m×n} 的每一行是一条观测的特征,c∈ℝ^n 是待求系数,y∈ℝ^m 是观测值。最小化残差平方和 ‖Ac−y‖²,展开为 cᵀAᵀAc−2yᵀAc+yᵀy;对 c 求导并令导数为零,得到正规方程 AᵀAc=Aᵀy。

这个方程也表示残差 y−Ac 与 A 的每一列正交。若 A 满列秩,即各列线性无关,则 AᵀA 正定且可逆,最小二乘解唯一。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第28章 矩阵运算 · 查看原书依据

      In statistics, equation (28.21) is called the normal equation. The matrix ATA is symmetric by Exercise D.1-2, and if A has full column rank, then by Theorem D.6 on page 1222, ATA is positive-definite as well. Hence, (ATA)−1

    参考来源

    - 位置:《算法导论(第4版)》第28章《矩阵运算》(OEBPS/chapter028.xhtml,文本字符[35000,40000))。 - 结论依据:原文由残差平方和的一阶条件得到式(28.21)正规方程,并指出满列秩时 `AᵀA` 正定可逆。 - 原始内容:In statistics, equation (28.21) is called the normal equation . The matrix A T A is symmetric by Exercise D.1-2, and if A has full column rank, then by Theorem D.6 on page 1222, A T A is positive-definite as well. Hence, ( A T A ) −1