知识卡片
初始化决定能否训练
权重不能随便取。初始权重太大时,线性层的输出会落进激活函数的饱和区,那里的导数接近 0,梯度逐层衰减到几乎为零,参数再也不会更新——网络看起来在训练,其实什么都没学。书中给了三种方案:从 [0,1] 均匀抽取、从标准正态抽取(默认)、以及 Xavier 初始化,即用均值 0、方差 2/(num_inputs+num_outputs) 的正态分布取值,让每层输出的量级与输入相当。作者特意提到本章有些网络只能用其中一种初始化才训得动,说明这不是无关紧要的细节。边界:Xavier 是按对称、近线性的激活推出来的经验规则,换用 ReLU 这类非对称激活时,通常需要相应变体。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第19章 深度学习 · 查看原书依据
事实证明,初始参数值可以对网络训练的速度(有时甚至是训练的方式)产生巨大的影响。如果权重太大,则它们可能会在激活函数的梯度接近零的范围产生很大的输出。网络中部分梯度为零,则导致无法通过梯度下降来学习任何东西。
参考来源
- 位置:《数据科学入门(第2版)》第19章 深度学习(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0023.xhtml)
- 结论依据:原文这一段直接给出本卡的核心判断:「事实证明,初始参数值可以对网络训练的速度(有时甚至是训练的方式)产生巨大的影响……」
- 原始内容:事实证明,初始参数值可以对网络训练的速度(有时甚至是训练的方式)产生巨大的影响。如果权重太大,则它们可能会在激活函数的梯度接近零的范围产生很大的输出。网络中部分梯度为零,则导致无法通过梯度下降来学习任何东西。