← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9891.l · 生成模型:Hunyuan

梯度截断与信息流正则化

理解等级:中级

强非线性的循环网络在参数空间中形成“悬崖”地形:宽而平坦的区域被目标函数剧烈变化的小区域隔开。梯度爆炸时一次更新可能把参数抛出很远,使先前努力付诸东流。截断梯度是多年沿用的实用解法:可在更新前逐元素截断小批量梯度,也可把梯度范数限制在上界 ν 内;后者保证更新仍沿梯度方向且范数有界,从而避免爆炸步。但范数截断让多个小批量梯度的平均不再等于全数据真实梯度的截断,引入经验上有用的启发式偏置。梯度截断只治爆炸、不治消失;另一思路是正则化以引导信息流,让反向梯度幅度不随距离衰减,并与截断结合显著增加可学习的依赖跨度,但在语言模型等冗余任务上不如LSTM有效。总体主题是设计易优化的模型往往比设计更强的优化算法更划算。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深度学习》第10章 序列建模:循环和递归网络(源文件:extracted/深度学习/_epub-src/text/part0004.html) - 结论依据:原文描述悬崖地形与梯度爆炸的危害,给出逐元素与范数两种截断方式及其偏置,并说明信息流正则化的作用与局限。 - 原始内容:一种选择是在参数更新之前,逐元素地截断小批量产生的参数梯度(Mikolov,2012)。另一种是在参数更新之前截断梯度 g 的范数‖ g ‖(Pascanu et al. ,2013a):