知识卡片
参数共享与卷积网络
范数惩罚是让参数彼此接近,而参数共享用更强的约束强迫某些参数相等:把多个模型或组件解释为共享同一组参数。其显著优点是内存中只需存一份参数子集,对卷积神经网络尤其重要。CNN利用自然图像的统计属性对平移不变——猫右移一个像素仍是猫——因此在图像不同位置共享同一特征检测器。这大幅降低参数数量,使能训练更大的网络而不相应增加数据,是把领域知识嵌入网络架构的典范。参数共享属于对模型结构编码先验的正则化,与权重衰减这类固定区域惩罚不同。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第7章 深度学习中的正则化 · 查看原书依据
CNN通过在图像多个位置共享参数来考虑这个特性。相同的特征(具有相同权重的隐藏单元)在输入的不同位置上计算获得。这意味着无论猫出现在图像中的第i列或i+1列,我们都可以使用相同的猫探测器找到猫。
参考来源
- 位置:《深度学习》第7章 深度学习中的正则化(源文件:extracted/深度学习/_epub-src/text/part0002.html)
- 结论依据:原文指出参数共享强迫参数相等、减少内存,并以CNN跨位置共享权重降低参数量为例说明。
- 原始内容:CNN通过在图像多个位置共享参数来考虑这个特性。相同的特征(具有相同权重的隐藏单元)在输入的不同位置上计算获得。这意味着无论猫出现在图像中的第i列或i+1列,我们都可以使用相同的猫探测器找到猫。