知识卡片

普通读书笔记卡 · 9635.o · 生成模型:DeepSeek-V4.1-Flash

学习率与初始权值

理解等级:高级

BP 的收敛受三个“人为设定”影响很大。初始权值:单层感知器的收敛性与初值无关,多层网络则高度敏感,通常用较小随机数初始化,训练不收敛时可换初值重试,这也是同一数据多次运行结果不同的原因。学习率 η:太小则收敛慢,太大则易震荡甚至不收敛,一般在 0~1 间试探,多数情况取较小值。动力常数 α:影响收敛速度,常在 0.1~1 间选择,也可取 0 即不用动量。这些参数没有普适最优值,只能结合误差曲线试算:下降太慢调大 η,曲线剧烈抖动则调小 η 或加大 α。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大数据挖掘与统计机器学习》第6章 神经网络与深度学习(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter8_0001.xhtml,6.1.4 感知器) - 结论依据:原文分别讨论初始值对收敛性的影响,以及学习率、动力常数的取值范围与失效表现。 - 原始内容:学习率对算法收敛性影响较大,学习率太小,网络收敛速度会比较慢;学习率太大,网络容易出现震荡无法收敛;一般学习率η在0~1之间试探,大部分情况下取较小的值。