知识卡片

普通读书笔记卡 · 9777.j · 生成模型:DeepSeek-V4.1-Flash

Dropout 用随机失活防过拟合

理解等级:中级

Dropout 在训练时以概率 p 随机把每个神经元的输出置零,等价于每次前向都在一个随机子网络上训练。这迫使神经元不能依赖某个固定搭档,学到的特征更冗余、更鲁棒,从而抑制过拟合,是对“惩罚大权重”那类正则化手段的补充。实现上有两个要点:反向传播只能给掩码为 1 的位置传梯度,被丢弃处的梯度为零;评估时不能再随机丢弃,否则输出尺度对不上,于是把输出按 (1-p) 统一缩小,使期望与训练时一致。因此 Dropout 层必须知道当前处于训练还是评估状态,书中用 train 标志手动切换,并在非训练模式下拒绝调用 backward。它只是缓解手段,不能替代用验证集判断是否过拟合。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第19章 深度学习 · 查看原书依据

      常见的神经网络正则化方法是丢弃(dropout)。在训练时,我们以一些固定的概率随机关闭每个神经元(即,将其输出替换为 0)。这意味着网络无法依赖每个神经元学习,这有助于防止过拟合。

    参考来源

    - 位置:《数据科学入门(第2版)》第19章 深度学习(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0023.xhtml) - 结论依据:原文这一段直接给出本卡的核心判断:「常见的神经网络正则化方法是丢弃(dropout)……」 - 原始内容:常见的神经网络正则化方法是丢弃(dropout)。在训练时,我们以一些固定的概率随机关闭每个神经元(即,将其输出替换为 0)。这意味着网络无法依赖每个神经元学习,这有助于防止过拟合。