知识卡片
读懂线性回归的梯度
对单个数据点,残差 error=预测-真实,平方误差 error² 对截距的偏导是 2·error,对斜率的偏导是 2·error·x。符号分析比公式更有用:预测偏大时 error>0,截距梯度为正,说明“增大截距会让误差更大”,所以更新要减;斜率那一项多乘了 x,正负随 x 翻转——x>0 时增大斜率会放大预测、误差更大,x 时增大斜率反而让预测变小、误差减小。这也解释了为什么同一个斜率梯度在不同 x 上方向相反,必须把整份数据的梯度取平均,才能得到对全体都合理的更新方向。若只看单点更新,模型就会被最后几条样本牵着走。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第8章 梯度下降
原书出处 · 1 处
- 第8章 梯度下降 · 查看原书依据
第一个梯度项 2 * error * x 与 x 具有相同的符号。如果 x 为正,则斜率的小幅增加将再次使预测结果变大,因此误差也会更大。但是,如果 x 为负,则斜率的小幅增加将使预测结果变小,因此误差也会变小。
参考来源
- 位置:《数据科学入门(第2版)》第8章 梯度下降(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0012.xhtml)
- 结论依据:原文这一段直接给出本卡的核心判断:「第一个梯度项 2 * error * x 与 x 具有相同的符号……」
- 原始内容:第一个梯度项 2 * error * x 与 x 具有相同的符号。如果 x 为正,则斜率的小幅增加将再次使预测结果变大,因此误差也会更大。但是,如果 x 为负,则斜率的小幅增加将使预测结果变小,因此误差也会变小。