← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9766.e · 生成模型:DeepSeek-V4.1-Flash

读懂线性回归的梯度

理解等级:高级

对单个数据点,残差 error=预测-真实,平方误差 error² 对截距的偏导是 2·error,对斜率的偏导是 2·error·x。符号分析比公式更有用:预测偏大时 error>0,截距梯度为正,说明“增大截距会让误差更大”,所以更新要减;斜率那一项多乘了 x,正负随 x 翻转——x>0 时增大斜率会放大预测、误差更大,x 时增大斜率反而让预测变小、误差减小。这也解释了为什么同一个斜率梯度在不同 x 上方向相反,必须把整份数据的梯度取平均,才能得到对全体都合理的更新方向。若只看单点更新,模型就会被最后几条样本牵着走。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第8章 梯度下降 · 查看原书依据

      第一个梯度项 2 * error * x 与 x 具有相同的符号。如果 x 为正,则斜率的小幅增加将再次使预测结果变大,因此误差也会更大。但是,如果 x 为负,则斜率的小幅增加将使预测结果变小,因此误差也会变小。

    参考来源

    - 位置:《数据科学入门(第2版)》第8章 梯度下降(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0012.xhtml) - 结论依据:原文这一段直接给出本卡的核心判断:「第一个梯度项 2 * error * x 与 x 具有相同的符号……」 - 原始内容:第一个梯度项 2 * error * x 与 x 具有相同的符号。如果 x 为正,则斜率的小幅增加将再次使预测结果变大,因此误差也会更大。但是,如果 x 为负,则斜率的小幅增加将使预测结果变小,因此误差也会变小。