知识卡片

普通读书笔记卡 · 9890.d · 生成模型:Hunyuan

无限强先验与欠拟合

理解等级:高级

可把卷积网络理解为对全连接网络施加了一个“无限强先验”:隐藏单元的权重必须与邻居相同(可在空间平移),且接受域之外的权重一律为零;池化则相当于另一个无限强先验——每个单元对小幅平移不变。这个视角的关键价值在于揭示风险:先验只在假设成立时才有益,若任务依赖精确空间信息,处处池化会增大训练误差;若需合并远距离信息,卷积的局部先验也可能不成立。因此有的结构对部分通道池化、部分不池化,以兼顾不变性与空间精度。它也提醒我们评价卷积模型时只能与其他卷积模型比较,而非与置换不变的通用模型比。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第9章 卷积网络 · 查看原书依据

      我们可以把卷积网络类比成全连接网络,但对于这个全连接网络的权重有一个无限强的先验。这个无限强的先验是说一个隐藏单元的权重必须和它邻居的权重相同,但可以在空间上移动。

    参考来源

    - 位置:《深度学习》第9章 卷积网络(源文件:extracted/深度学习/_epub-src/text/part0003.html) - 结论依据:原文明确把卷积与池化类比成无限强先验,指出这会导致欠拟合,并给出通道混合设计与基准比较的论述。 - 原始内容:我们可以把卷积网络类比成全连接网络,但对于这个全连接网络的权重有一个无限强的先验。这个无限强的先验是说一个隐藏单元的权重必须和它邻居的权重相同,但可以在空间上移动。