知识卡片

结构图卡 · 9663.a · 生成模型:DeepSeek-V4.1-Flash

CNN的四类归纳偏置

理解等级:中级

CNN 把四类假设直接编码进结构,它们共同决定了 CNN 的数据效率。局部连接:每个单元只连前一层的一小块区域,假设邻近像素比远处像素更相关,对应边缘、轮廓这类局部模式。权值共享:整幅图复用同一组卷积核,假设同一模式出现在哪里都该用同一检测器。分层处理:多层堆叠让低层特征组合成高层概念,抽象级别逐层升高。空间不变性:前三者结合的结果,模式换位置仍能被识别。

图中的依赖关系是重点:前三项是设计手段,空间不变性是它们的合成效果,不是单独实现的一层。

代价与边界:这些假设在图像这类网格数据上成立,在表格、图结构、长文本上未必成立,此时强加卷积偏置反而有害;同时它们也限制了 CNN 表达全局关系的能力,长程依赖要靠加深网络间接获得。

结构图:

flowchart TD
  A[CNN 归纳偏置] --> B[局部连接]
  A --> C[权值共享]
  A --> D[分层处理]
  B --> E[空间不变性]
  C --> E
  D --> E
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大模型技术30讲》第13讲 ViT架构所需的大型训练集(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0018.xhtml) - 结论依据:第13章 13.1 CNN中的归纳偏置,四条要点及末段合成关系 - 原始内容:CNN中的局部连接、权值共享和分层处理的结合,赋予了模型空间不变性,无论模式或特征出现在输入图像的何处,模型都能够识别出来。