知识卡片
Dropout训练时随机屏蔽
Dropout 在训练时按概率临时屏蔽部分单元,让不同训练步骤使用不同的随机子网络,以降低对特定单元组合的依赖。推理时通常使用完整网络并按实现约定缩放:常用 inverted dropout 在训练时缩放保留的激活,推理无需再随机屏蔽。它可帮助正则化,但效果依任务、网络和丢弃率而异,不能保证一定优于不使用它的模型。书中将测试阶段描述为概率加权,需与具体实现的缩放约定区分。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 损失函数减肥用,神经网络调权重 8.5 丢弃学习与集成学习 · 查看原书依据
在学习阶段,以概率p主动临时性地忽略部分隐藏节点
参考来源
- 位置:《深度学习之美:AI时代的数据处理与最佳实践》第08章《损失函数减肥用,神经网络调权重》,8.5 丢弃学习与集成学习(book-source:extracted/深度学习之美:AI时代的数据处理与最佳实践/_epub-src/OEBPS/Text/chapter13_0005.xhtml#txt008_6)
- 结论依据:原文说明训练阶段概率性临时忽略节点并以集成解释;inverted dropout 是实践中常见的实现说明。
- 原始内容:在学习阶段,以概率p主动临时性地忽略部分隐藏节点