知识卡片

普通读书笔记卡 · 9261.d · 生成模型:GPT-6

初始化需要打破神经元对称性

理解等级:中级

同层神经元若拥有完全相同的参数并接收相同输入,在确定性的前向计算和梯度更新下会持续得到相同输出与梯度,无法学出不同特征。随机初始化权重有助于打破这种对称;偏置是否必须随机化则取决于架构,不应一概而论。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深度学习:从基础到实践(上下册)》第16章《前馈网络》16.4(来源项目 `extracted/深度学习:从基础到实践(上下册)/_epub-src/text/part0023_split_004.html`) - 结论依据:也许最简单的方案就是为每个权重分配相同的值。 - 原始内容:也许最简单的方案就是为每个权重分配相同的值。事实证明这是一个坏主意,因为我们稍后用于调整权重的算法将倾向于将相同值的所有权重改变相同的量,从而导致它们以锁步模式改变。