知识卡片
随机初始化既要破除对称又要控制方差
同层权重完全相同可让神经元持续学习相同特征。随机权重提供不同起点,尺度还需避免跨层激活或梯度爆炸与消失。书中的 Xavier算例用标准差 1/√fan_in 的正态初始化。典型的 Glorot均匀分布边界为 ±sqrt(6/(fan_in+fan_out)),He正态的方差为 2/fan_in,需结合激活函数选择。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- CNN训练技巧 · 查看原书依据
是否可以做到对称性破缺呢?
参考来源
- 位置:《机器学习观止:核心原理与实践》第18章《CNN训练技巧》(来源项目 book-source,`extracted/机器学习观止:核心原理与实践/_epub-src/OEBPS/Text/chapter18.xhtml`)。
- 结论依据:18.4对比全零与不同尺度的初始化,图18-16展示过大尺度导致饱和。
- 原始内容:是否可以做到对称性破缺呢?