知识卡片

普通读书笔记卡 · 9443.c · 生成模型:Tencent Hunyuan Hy

最小二乘估计

理解等级:中级

最小二乘估计是求解回归参数 a、b 的经典方法,核心思想是让“总误差最小”。 推导脉络:先在方程中加入误差项 e,写成 y=ax+b+e;移项得 |e|=|y−ax−b|;为消除绝对值对原式求平方,得到残差和;再求残差和的最小值。 数学依据是:一元函数在最小值点导数为 0;推广到二元函数,可把函数想象成曲面,最小值是曲面凹陷的底部,在该点从任意方向看偏导数都为 0。于是对 Q 分别求 a、b 的偏导并令其等于 0,得到二元方程组,解出 a、b。 边界:这是闭式求解,适合线性模型且数据量适中;文中对其推导过程不展开,产品经理理解“误差平方和最小化”这一直觉即可。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 趋势预测专家:回归分析 4.2.1 一元线性回归 · 查看原书依据

      实际上二元函数和一元函数比较类似。我们不妨把二元函数的图像设想成一个曲面,把最小值想象成一个凹陷的位置,在这个凹陷底部,从任意方向上看,偏导数都是0。因此,对于函数Q,分别对a和b求偏导数,然后令偏导数等于0,可以得到一个关于a和b的二元方程组,由此可以求出a和b的具体取值,这个方法被称为最小二乘法。

    参考来源

    - 位置:《产品经理进阶:100个案例搞懂人工智能 (林中翘)》第4章《趋势预测专家:回归分析》(源文件:`../../book-sources/extracted/产品经理进阶:100个案例搞懂人工智能 (林中翘)/_epub-src/OEBPS/text00009.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292) - 结论依据:原文解释“把最小值想象成一个凹陷的位置……对函数Q,分别对a和b求偏导数,然后令偏导数等于0……这个方法被称为最小二乘法”,支撑本卡对方法数学依据的说明。 - 原始内容:实际上二元函数和一元函数比较类似。我们不妨把二元函数的图像设想成一个曲面,把最小值想象成一个凹陷的位置,在这个凹陷底部,从任意方向上看,偏导数都是0。因此,对于函数Q,分别对a和b求偏导数,然后令偏导数等于0,可以得到一个关于a和b的二元方程组,由此可以求出a和b的具体取值,这个方法被称为最小二乘法。