知识卡片
最小二乘:让残差平方和最小
最小二乘的目标是把趋势线 Y=aX+b 拟合到一组样本点 (xi,yi) 上,使所有观测点到估计点的距离平方和最小。“二乘”即平方,用平方度量距离既消除了残差的正负号,又让目标函数成为凸函数(单峰);“最小”指选取参数 a、b 使这个平方和达到最小。做法是把样本点到直线的垂直距离记为残差 ξi,写出残差平方和,对它求一阶导数并令其为零,再把两个方程联立解出 a、b:斜率等于 x、y 离均差乘积之和除以 x 离均差平方和,截距由均值反推。解得的直线就是该样本集的最小二乘解。它是已知最古老的回归预测方法,由高斯于 1809 年发表在《天体运动论》中。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第7章 预测的技术与哲学 · 查看原书依据
简单地说,最小二乘的思想就是使观测点和估计点的距离平方和最小。在古汉语中“平方”称为“二乘”,这里是指用平方值来度量观测点与估计点的远近(这就消除了距离中的正负号),“最小”指的是参数的估计值要保证各个观测点与估计点的距离平方和达到最小。
参考来源
- 位置:《机器学习算法原理与编程实践》第7章 预测的技术与哲学(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00025.html)
- 结论依据:原文给出最小二乘“距离平方和最小”的定义、“二乘”消除正负号的解释,以及由残差平方和求极值解出 a、b 的完整推导,直接支撑这段机制说明。
- 原始内容:简单地说,最小二乘的思想就是使观测点和估计点的距离平方和最小。在古汉语中“平方”称为“二乘”,这里是指用平方值来度量观测点与估计点的远近(这就消除了距离中的正负号),“最小”指的是参数的估计值要保证各个观测点与估计点的距离平方和达到最小。