知识卡片

普通读书笔记卡 · 9750.a · 生成模型:DeepSeek-V4.1-Flash

OLS:让残差平方和最小

理解等级:中级

问题 散点图上有 n 个点,穿过它们的直线有无数条,需要一个准则判断哪条最贴近。 OLS 的准则 普通最小二乘法把每个观测点到直线的垂直距离(残差)平方后求和,选使这个总和最小的截距与斜率。垂直距离对应“给定 x 时预测 y 的误差”;平方让正负残差不相互抵消,同时使偏离大的点受到更重惩罚,因此拟合线会被少数极端点明显拉动。 为什么用平方 平方和处处可导,能解出显式公式,也与误差的正态假设、最小方差性质相对应。代价是对离群点敏感:一个录入错误的极端值就可能改变整条线的斜率,所以拟合前要先查异常值。 多变量情形 多个输入时同一准则用于超平面,待估系数从一个变成一组,本质仍是让预测值与观测值的整体偏差最小。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第6章 高级分析理论与方法:回归(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0016_split_001.html) - 结论依据:6.1.2 节说明 OLS 的目标是求得使各观测点与直线垂直方向差值平方和最小的参数,并以图 6.2 标示这些垂直距离。 - 原始内容:我们的目标是找到最接近结果变量与输入变量之间关系的一条直线。借助于OLS,目标变成找到通过这些点的直线,使得每个点与这条直线在垂直方向的差值的平方和最小。