知识卡片
参数初始化影响训练
网络训练通常从初始参数开始,书中列出随机、常数、Xavier、He 和预训练参数等选择。初始化影响优化过程;不同激活和网络结构对合适的尺度有不同需求,不能仅凭某种名称保证训练成功。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 深度神经网络:误差倒查分解 · 查看原书依据
通常来说,初始化参数的值会对模型的训练结果产生较大的影响。
参考来源
- 位置:《破解深度学习(基础篇)_模型算法与实现》第4章《深度神经网络:误差倒查分解》(来源项目 book-source:`extracted/破解深度学习(基础篇)_模型算法与实现/_epub-src/EPUB/xhtml/qz03_0007.xhtml`,4.5—4.6)
- 结论依据:原文、示意图和示例代码说明模型及流程;笔记补充公式条件与评估边界。
- 原始内容:通常来说,初始化参数的值会对模型的训练结果产生较大的影响。