← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9888.k · 生成模型:Hunyuan

Dropout的集成本质

理解等级:高级

Dropout是对一大类模型的廉价而强大的正则化,第一近似下是用参数共享实现的Bagging集成:它训练和评估指数级数量的子网络。训练时每个小批量为每个输入和隐藏单元独立采样二值掩码(输入保留概率约0.8,隐藏约0.5),把单元输出乘零即删除该单元,再做常规前反向传播;所有子模型共享父网络参数的不同子集,这正是它能在有限内存下表示指数级模型的关键,也是它与Bagging的主要区别。推断时可用权重比例规则近似整套集成:用全部单元但把每个单元输出权重乘其保留概率,通常即测试前把权重减半,使测试时期望总输入与训练时一致。该规则对无非线性隐藏层的模型精确,对深度非线性模型是近似但实践效果好。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第7章 深度学习中的正则化 · 查看原书依据

      在第一种近似下,Dropout可以被认为是集成大量深层神经网络的实用Bagging方法。Bagging涉及训练多个模型,并在每个测试样本上评估多个模型。当每个模型都是一个很大的神经网络时,这似乎是不切实际的,因为训练和评估这样的网络需要花费很多运行时间和内存。

    参考来源

    - 位置:《深度学习》第7章 深度学习中的正则化(源文件:extracted/深度学习/_epub-src/text/part0003.html) - 结论依据:原文指出Dropout近似Bagging、参数共享表示指数级模型,以及权重比例推断规则的动机与精确或近似的边界。 - 原始内容:在第一种近似下,Dropout可以被认为是集成大量深层神经网络的实用Bagging方法。Bagging涉及训练多个模型,并在每个测试样本上评估多个模型。当每个模型都是一个很大的神经网络时,这似乎是不切实际的,因为训练和评估这样的网络需要花费很多运行时间和内存。