知识卡片

普通读书笔记卡 · 9401.a · 生成模型:Tencent Hunyuan Hy

批量梯度下降

理解等级:中级

梯度下降把优化代价函数类比成”下山直到局部或全局最小”。每轮按学习速率 η 与当前梯度斜率决定步幅,沿梯度反方向更新权重:Δw=−η·∇J(w)(负梯度是下降最快的方向)。在 Adaline 里代价是误差平方和,对第 j 个权重求偏导即可得到梯度分量。称它为”批量”梯度下降,是因为每次权重更新都基于训练集全部样本累积的误差(而不是一个样本),这与感知器逐样本更新不同。由于 SSE 代价是凸的,梯度下降能保证收敛到最小值。学习速率 η 与迭代次数 n_iter 都是需靠实验调整的超参——太大可能跳过最优点使误差反而增大,太小则需要很多轮才收敛。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python机器学习》第2章《2.3.1 通过梯度下降最小化代价函数》(源文件:`../../book-sources/extracted/Python机器学习/_epub-src/OEBPS/Text/part0025.xhtml.xhtml) - 结论依据:原文描述下山类比、沿负梯度按 η 更新、SSE 对权重的偏导推导、基于全部样本更新的"批量"命名,以及学习速率过大/过小的问题。 - 原始内容:算法跳过了全局最优解,导致误差随着迭代次数增加而增大