← 返回卡片

原书出处

深度学习

10 第10章 序列建模:循环和递归网络

核验版本的摘录快照 · 导入于 2026-11-19T07:27:03.632Z

the gradient)。此想法有不同实例(Mikolov,2012;Pascanu et al. ,2013a)。

一种选择是在参数更新之前,逐元素地截断小批量产生的参数梯度(Mikolov,2012)。另一种是在参数更新之前截断梯度 g 的范数‖ g ‖(Pascanu et al. ,2013a):

其中ν是范数上界, g 用来更新参数。因为所有参数(包括不同的参数组,如权重和偏置)的梯度被单个缩放因子联合重整化,所

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/深度学习/_epub-src/text/part0004.html

EPUB SHA-256:30b05f447b47f121324499dd200696e34be257d5cd4c4b753541b42f40a94639