知识卡片
批量梯度下降
梯度下降把优化代价函数类比成”下山直到局部或全局最小”。每轮按学习速率 η 与当前梯度斜率决定步幅,沿梯度反方向更新权重:Δw=−η·∇J(w)(负梯度是下降最快的方向)。在 Adaline 里代价是误差平方和,对第 j 个权重求偏导即可得到梯度分量。称它为”批量”梯度下降,是因为每次权重更新都基于训练集全部样本累积的误差(而不是一个样本),这与感知器逐样本更新不同。由于 SSE 代价是凸的,梯度下降能保证收敛到最小值。学习速率 η 与迭代次数 n_iter 都是需靠实验调整的超参——太大可能跳过最优点使误差反而增大,太小则需要很多轮才收敛。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 2.3.1 通过梯度下降最小化代价函数 · 查看原书依据
算法跳过了全局最优解,导致误差随着迭代次数增加而增大
参考来源
- 位置:《Python机器学习》第2章《2.3.1 通过梯度下降最小化代价函数》(源文件:`../../book-sources/extracted/Python机器学习/_epub-src/OEBPS/Text/part0025.xhtml.xhtml)
- 结论依据:原文描述下山类比、沿负梯度按 η 更新、SSE 对权重的偏导推导、基于全部样本更新的"批量"命名,以及学习速率过大/过小的问题。
- 原始内容:算法跳过了全局最优解,导致误差随着迭代次数增加而增大