知识卡片
Dropout的集成本质
Dropout是对一大类模型的廉价而强大的正则化,第一近似下是用参数共享实现的Bagging集成:它训练和评估指数级数量的子网络。训练时每个小批量为每个输入和隐藏单元独立采样二值掩码(输入保留概率约0.8,隐藏约0.5),把单元输出乘零即删除该单元,再做常规前反向传播;所有子模型共享父网络参数的不同子集,这正是它能在有限内存下表示指数级模型的关键,也是它与Bagging的主要区别。推断时可用权重比例规则近似整套集成:用全部单元但把每个单元输出权重乘其保留概率,通常即测试前把权重减半,使测试时期望总输入与训练时一致。该规则对无非线性隐藏层的模型精确,对深度非线性模型是近似但实践效果好。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第7章 深度学习中的正则化 · 查看原书依据
在第一种近似下,Dropout可以被认为是集成大量深层神经网络的实用Bagging方法。Bagging涉及训练多个模型,并在每个测试样本上评估多个模型。当每个模型都是一个很大的神经网络时,这似乎是不切实际的,因为训练和评估这样的网络需要花费很多运行时间和内存。
参考来源
- 位置:《深度学习》第7章 深度学习中的正则化(源文件:extracted/深度学习/_epub-src/text/part0003.html)
- 结论依据:原文指出Dropout近似Bagging、参数共享表示指数级模型,以及权重比例推断规则的动机与精确或近似的边界。
- 原始内容:在第一种近似下,Dropout可以被认为是集成大量深层神经网络的实用Bagging方法。Bagging涉及训练多个模型,并在每个测试样本上评估多个模型。当每个模型都是一个很大的神经网络时,这似乎是不切实际的,因为训练和评估这样的网络需要花费很多运行时间和内存。