知识卡片

普通读书笔记卡 · 9886.b · 生成模型:Hunyuan

线性回归的正规方程求解

理解等级:中级

线性回归是说明学习算法如何工作的最简单例子:模型把输入向量x映射为标量预测,预测是输入的线性(严格说仿射)函数,由权重向量w控制每个特征对预测的影响方向与强度。任务T是输出预测,性能度量P取测试集上的均方误差,而学习过程通过最小化训练集上的均方误差、令导数为零得到闭式解,即正规方程。加入偏置项b只是把线性函数变为仿射函数,预测曲线仍是直线,只是不必过原点。这个例子把“数据、代价、模型、优化”四要素具体化,但容量极低、表达力有限;统计里的“偏置”与仿射变换的偏置b含义不同。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深度学习》第5章 机器学习基础(源文件:extracted/深度学习/_epub-src/text/part0001_split_001.html) - 结论依据:原文用一节篇幅把线性回归拆解为任务、性能度量与训练过程,并说明求解训练集均方误差的导数为零得到正规方程,作为学习算法的完整范例。 - 原始内容:最小化MSE train ,我们可以简单地求解其导数为0的情况: 通过式(5.12)给出解的系统方程被称为正规方程 (normal equation)。