知识卡片
最小二乘目标不同于求解器
最小二乘是“让残差平方和最小”的目标,正规方程与梯度下降是求这个目标的不同方法。在线性、满列秩等条件下可用解析式求唯一解;迭代法不要求形成逆矩阵,能处理更多模型,但收敛性取决于目标函数和步长等条件。非线性模型也能采用最小二乘目标,原书把最小二乘限于线性模型,是混淆了平方损失与特定线性解析解。选择方法还应考虑矩阵规模、病态性与计算成本。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 1 7 . 3 最 小 二 乘 法 在 机 器 学 习 中 的 应 用 · 查看原书依据
早在1979年,Otsu在研究灰度直方图时就使用了最小二乘估计[1];1982年,S. Lloyd将之应用于脉冲编码调制中[3];1994年,M. T. Hagan等提出了非线性最小二乘的Marquardt算法[2],用于训练前馈神经网络的反向传播;2003年,J. Portilla等在小波域中使用高斯混合比例尺度进行图像去噪[5],构建的模型中每个系数均计算了最小二乘估值,并据此使系数保持在合理范围内;2012年,Guang-Bin Huang等简化了最小二乘支持向量机和近端支持向量机[4],结合其他极限学习机构建了正则化算法的统一学习框架。
参考来源
- 位置:《智能算法导论》第 172 项《1 7 . 3 最 小 二 乘 法 在 机 器 学 习 中 的 应 用》(源文件:`_epub-src/EPUB/xhtml/chapter17_0003.xhtml`)
- 结论依据:表 17.2 比较的是梯度下降和逆矩阵求解的计算过程;同一正文又列出“非线性最小二乘的 Marquardt 算法”,与其“只适用于线性模型”断言矛盾。卡片据此区分目标和求解方法。
- 原始内容:最小二乘法只适用于线性模型……而梯度下降法采用步进迭代的方式,一步一步地逼近最优解……1994年,M. T. Hagan等提出了非线性最小二乘的Marquardt算法