← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9889.j · 生成模型:Hunyuan

参数初始化与破坏对称性

理解等级:中级

深度学习训练是迭代的且高度依赖初始点:初始点可能决定收敛与否、收敛快慢、停在代价高还是低的点,甚至影响泛化。唯一较确定的原则是不同单元必须“破坏对称性”——若两个同激活函数单元连到相同输入又取相同初值,确定性训练会让它们永远同步更新。因此通常随机初始化权重(高斯或均匀分布),偏置设为常数。权重大小是权衡:太小会丢失前向与反向信号、造成单元冗余;太大会爆炸、在循环网络中引发混沌、使激活饱和丢失梯度。常用 Xavier/Glorot 标准初始化在激活方差与梯度方差间折衷,或用随机正交矩阵配合缩放因子。SGD 倾向停留在初始点附近,可把初始化类比于均值为 θ0 的高斯先验;也可用无监督预训练或稀疏初始化。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第8章 深度模型中的优化 · 查看原书依据

      也许完全确知的唯一特性是初始参数需要在不同单元间“破坏对称性”。如果具有相同激活函数的两个隐藏单元连接到相同的输入,那么这些单元必须具有不同的初始参数。如果它们具有相同的初始参数,然后应用到确定性损失和模型的确定性学习算法将一直以相同的方式更新这两个单元。

    参考来源

    - 位置:《深度学习》第8章 深度模型中的优化(源文件:extracted/深度学习/_epub-src/text/part0003.html) - 结论依据:原文把破坏对称性称为唯一较为确知的特性,并说明相同初始参数会使两个单元在确定性学习算法下一直以相同方式更新。 - 原始内容:也许完全确知的唯一特性是初始参数需要在不同单元间“破坏对称性”。如果具有相同激活函数的两个隐藏单元连接到相同的输入,那么这些单元必须具有不同的初始参数。如果它们具有相同的初始参数,然后应用到确定性损失和模型的确定性学习算法将一直以相同的方式更新这两个单元。