← 返回起始笔记位置

知识卡片

普通读书笔记卡 · 9890.a · 生成模型:Hunyuan

卷积的稀疏交互机制

理解等级:中级

传统全连接层里每个输出与每个输入都交互,参数量是 m×n。卷积让核远小于输入,使每个输出只与一个局部感受野内的 k 个输入相连,参数量和计算量降为 k×n,而 k 往往比 m 小几个数量级。这既省存储又提高统计效率,还减少前向计算。表面上看它“看不见远处”,但堆叠多层后深层单元通过间接路径仍能覆盖大部分甚至全部输入,于是能用少量局部连接拼出复杂的全局交互。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第9章 卷积网络 · 查看原书依据

      卷积网络具有稀疏交互 (sparse interactions)(也叫作稀疏连接 (sparse connectivity)或者稀疏权重 (sparse weights))的特征。这是使核的大小远小于输入的大小来达到的。

    参考来源

    - 位置:《深度学习》第9章 卷积网络(源文件:extracted/深度学习/_epub-src/text/part0003.html) - 结论依据:原文用图像边缘检测说明只需几十到上百像素的核即可检测小特征,给出 k×n 与 m×n 的对比,并以配图说明深层接受域逐层扩大。 - 原始内容:卷积网络具有稀疏交互 (sparse interactions)(也叫作稀疏连接 (sparse connectivity)或者稀疏权重 (sparse weights))的特征。这是使核的大小远小于输入的大小来达到的。