原书出处
深度学习
04 第4章 数值计算
导数: 其中θ是 u 与梯度的夹角。将 代入,并忽略与 u 无关的项,就能简化得到 这在 u 与梯度方向相反时取得最小。
换句话说,梯度向量指向上坡,负梯度向量指向下坡。我们在负梯度方向上移动可以减小f。这被称为最速下降法 (method of steepest descent)或梯度下降 (gradient descent)。
最速下降建议新的点为 其中 为学习率 (learning rate),是一个确定步长大小的正标量。我们可以通过几种不同
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/深度学习/_epub-src/text/part0001_split_000.html
EPUB SHA-256:30b05f447b47f121324499dd200696e34be257d5cd4c4b753541b42f40a94639