返回主题:神经网络基础单元与训练

知识卡片

普通读书笔记卡 · 3788.k.1.a

Dropout随机屏蔽隐单元

理解等级:中级

Dropout 在训练的每次前向计算中随机把部分隐藏单元输出置零,并在该掩码下反向更新权重;下一次可重新采样掩码。它让模型不能总依赖同一组特征组合,是缓解过拟合的一种正则化方法。被屏蔽单元没有从网络结构中永久删除,推断时通常使用完整网络并按实现约定处理激活尺度;效果仍须由验证数据确认。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 1 9 . 2 神 经 网 络 算 法 实 现 · 查看原书依据

      图19.13 DropOut示意图 步骤1:随机让部分隐藏的神经元不工作,即输出0,输入输出神经元保持不变; 步骤2:照旧将修改后的神经网络进行前向传播,将误差进行反向传播; 步骤3:换新的训练样本,重复步骤1。

    参考来源

    - 位置:《智能算法导论》第 181 项《1 9 . 2 神 经 网 络 算 法 实 现/Dropout规则》(源文件:`_epub-src/EPUB/xhtml/chapter19_0004.xhtml`) - 结论依据:正文说明每次随机让部分隐藏神经元不工作、继续前向与反向传播并更换样本重复;图 19.13 显示单元输出受 0/1 掩码控制。原文“删除”应理解为训练时临时屏蔽。 - 原始内容:Dropout主要解决的问题是神经网络训练时发生的过拟合现象……随机让部分隐藏的神经元不工作,即输出0,输入输出神经元保持不变……照旧将修改后的神经网络进行前向传播,将误差进行反向传播。