知识卡片
共享权重与平移等变
参数共享指同一套参数在输入的多个位置重复使用:卷积核的每个元素作用于所有空间位置,因此只需学一个参数集合而非每个位置各学一套,存储从 k×n 项降到约 k 个参数,前向运行时间不变。这种“绑定权重”带来对平移的等变性:若把输入平移,输出的表示也随之平移相同量,即满足 f(g(x))=g(f(x))。这对边缘检测等遍布各处的特征很有用,但并非万能——人脸已居中时不同位置要找不同特征(上部找眉毛、下部找下巴),而且卷积对放缩、旋转并不天然等变,需另设机制处理。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第9章 卷积网络
原书出处 · 1 处
- 第9章 卷积网络 · 查看原书依据
对于卷积,参数共享的特殊形式使得神经网络层具有对平移等变 (equivariance)的性质。如果一个函数满足输入改变,输出也以同样的方式改变这一性质,我们就说它是等变(equivariant)的。
参考来源
- 位置:《深度学习》第9章 卷积网络(源文件:extracted/深度学习/_epub-src/text/part0003.html)
- 结论依据:原文定义参数共享并给出等变性公式,同时举出人脸检测与放缩旋转的反例,说明参数共享在某些情形并不适用。
- 原始内容:对于卷积,参数共享的特殊形式使得神经网络层具有对平移等变 (equivariance)的性质。如果一个函数满足输入改变,输出也以同样的方式改变这一性质,我们就说它是等变(equivariant)的。