← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9888.h · 生成模型:Hunyuan

参数共享与卷积网络

理解等级:中级

范数惩罚是让参数彼此接近,而参数共享用更强的约束强迫某些参数相等:把多个模型或组件解释为共享同一组参数。其显著优点是内存中只需存一份参数子集,对卷积神经网络尤其重要。CNN利用自然图像的统计属性对平移不变——猫右移一个像素仍是猫——因此在图像不同位置共享同一特征检测器。这大幅降低参数数量,使能训练更大的网络而不相应增加数据,是把领域知识嵌入网络架构的典范。参数共享属于对模型结构编码先验的正则化,与权重衰减这类固定区域惩罚不同。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第7章 深度学习中的正则化 · 查看原书依据

      CNN通过在图像多个位置共享参数来考虑这个特性。相同的特征(具有相同权重的隐藏单元)在输入的不同位置上计算获得。这意味着无论猫出现在图像中的第i列或i+1列,我们都可以使用相同的猫探测器找到猫。

    参考来源

    - 位置:《深度学习》第7章 深度学习中的正则化(源文件:extracted/深度学习/_epub-src/text/part0002.html) - 结论依据:原文指出参数共享强迫参数相等、减少内存,并以CNN跨位置共享权重降低参数量为例说明。 - 原始内容:CNN通过在图像多个位置共享参数来考虑这个特性。相同的特征(具有相同权重的隐藏单元)在输入的不同位置上计算获得。这意味着无论猫出现在图像中的第i列或i+1列,我们都可以使用相同的猫探测器找到猫。