返回主题:线性模型与优化算法

知识卡片

普通读书笔记卡 · 3786.a

满秩决定最小二乘解唯一性

理解等级:高级

多元线性模型 y=β₀+β₁x₁+…+βₙxₙ 用 m 个样本拟合时,把样本排成设计矩阵 A(每行一个样本,第一列全为 1 对应截距,其余列是各特征),参数排成向量 β,观测值排成向量 Y。最小二乘要最小化 ‖Aβ−Y‖²(各样本残差平方和),对 β 求导置零得正规方程 AᵀAβ=AᵀY。

只有 A 的列满秩(任何一列都不能由其他列线性组合出来)时,AᵀA 才可逆,解 β=(AᵀA)⁻¹AᵀY 才唯一。样本数少于参数个数,或某特征与其他特征线性相关,都会导致不满秩。

示例(补充):若每个样本都有 x₂=x₁,那么 β₁=1、β₂=0 与 β₁=0、β₂=1 给出完全相同的预测,残差平方和一样小。这说明不满秩时最小值仍能达到,只是解有无穷多个,而不是“无解”。增加样本也须带来新的独立信息(例中须出现 x₂≠x₁ 的样本)才能修复秩缺陷。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《智能算法导论》第 171 项《1 7 . 2 最 小 二 乘 法 流 程》(源文件:`_epub-src/EPUB/xhtml/chapter17_0002.xhtml`) - 结论依据:正文及公式 image_486–491.svg 给出平方范数、梯度与正规方程,并列出样本不足和特征相关导致 AᵀA 不可逆的情形;“不可逆即无解”是把逆矩阵公式失效误写成优化问题不存在最小值,卡片对此作数学边界修正。A、β、Y 的含义取自式(17-3)至(17-5);x₂=x₁ 的例子为依据原书“特征线性相关”情形补充的教学示例,非书中案例。 - 原始内容:要保证最小二乘法有解,就得保证 A A 是一个可逆阵(非奇异矩阵)。在以下情况时, A A 不可逆……当样本的数量小于参数向量(即 β )的维度时……在所有特征中若存在一个特征与另一个特征线性相关