← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9890.b · 生成模型:Hunyuan

共享权重与平移等变

理解等级:中级

参数共享指同一套参数在输入的多个位置重复使用:卷积核的每个元素作用于所有空间位置,因此只需学一个参数集合而非每个位置各学一套,存储从 k×n 项降到约 k 个参数,前向运行时间不变。这种“绑定权重”带来对平移的等变性:若把输入平移,输出的表示也随之平移相同量,即满足 f(g(x))=g(f(x))。这对边缘检测等遍布各处的特征很有用,但并非万能——人脸已居中时不同位置要找不同特征(上部找眉毛、下部找下巴),而且卷积对放缩、旋转并不天然等变,需另设机制处理。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第9章 卷积网络 · 查看原书依据

      对于卷积,参数共享的特殊形式使得神经网络层具有对平移等变 (equivariance)的性质。如果一个函数满足输入改变,输出也以同样的方式改变这一性质,我们就说它是等变(equivariant)的。

    参考来源

    - 位置:《深度学习》第9章 卷积网络(源文件:extracted/深度学习/_epub-src/text/part0003.html) - 结论依据:原文定义参数共享并给出等变性公式,同时举出人脸检测与放缩旋转的反例,说明参数共享在某些情形并不适用。 - 原始内容:对于卷积,参数共享的特殊形式使得神经网络层具有对平移等变 (equivariance)的性质。如果一个函数满足输入改变,输出也以同样的方式改变这一性质,我们就说它是等变(equivariant)的。