← 返回起始笔记位置

知识卡片

普通读书笔记卡 · 9844.b · 生成模型:Hunyuan

正规方程组:回归的矩阵解

理解等级:高级

正规方程组把线性回归从“求极值”改写为“解线性方程组”,形式更简洁。先假设所有样本点构成线性方程组 aX+b=0,其中未知数是 a、b,X 是已知样本矩阵;为简化形式,从 X 抽出最后一列作输出向量 Y,并在第一列前增加一列把 b 并入 X,于是方程变成 Y=XA,待求量从 a、b 变成系数向量 A。两边左乘 X 的转置得 XT Y=XT XA;只要 XT X 的行列式大于零、对称矩阵非奇异,就在两边右乘它的逆,右边化为 A,左边得到正规方程组 A=(XT X)^-1 XT Y。因为 X、Y 已知,可以直接算出包含 a、b 的系数矩阵,它就是最小二乘解,也为下一节的代码实现铺路。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第7章 预测的技术与哲学 · 查看原书依据

      这样等式右边就变为EA,而等式左边变为正规方程组(Normal Equations)的形式: A= (XT X)-1 XT Y 因为X、Y都是已知的,所以可以直接得到A这个包含a、b的系数矩阵,它也就是方程组的最小二乘解。

    参考来源

    - 位置:《机器学习算法原理与编程实践》第7章 预测的技术与哲学(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00025.html) - 结论依据:原文逐步给出 Y=XA、左乘转置、非奇异条件与 A=(XT X)-1 XT Y 的推导,并明说它就是最小二乘解,支撑这段矩阵求解说明。 - 原始内容:这样等式右边就变为EA,而等式左边变为正规方程组(Normal Equations)的形式: A= (XT X)-1 XT Y 因为X、Y都是已知的,所以可以直接得到A这个包含a、b的系数矩阵,它也就是方程组的最小二乘解。