知识卡片

普通读书笔记卡 · 9847.n · 生成模型:Hunyuan

稀疏连接与共享权重

理解等级:高级

CNN靠两条机制利用视觉结构。其一是稀疏连接:第m层单元只连m-1层中感受野空间连续的少数单元,不对感受野外的变化响应,于是学到的是局部空间模式;层叠多层后,感受野逐层变大,非线性过滤器越来越全局,浅层边缘由此组合成更大特征。其二是共享权重:一个过滤器是整幅视场的复制,各复制单元共享权重与偏置、形成一张特征图,因此不管特征在视场哪个位置都能检测到。共享参数的梯度只是各副本梯度之和,几乎不增加学习难度;自由参数大幅减少,学习效率与视觉泛化反而提升。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第10章 认知计算与深度学习 · 查看原书依据

      共享权重的梯度仅仅是被共享参数的梯度总和。以这种方式复制的单元可以不管其在视场的位置即可检测出其他特征。此外,权重共享通过极大地降低自由参数的数目而增加了学习效率。

    参考来源

    - 位置:《机器学习算法原理与编程实践》第10章 认知计算与深度学习(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00034.html) - 结论依据:原文分别解释局部连接与感受野层叠带来的全局化,以及过滤器复制、参数共享形成特征图、共享梯度求和与降低参数量的效果。 - 原始内容:共享权重的梯度仅仅是被共享参数的梯度总和。以这种方式复制的单元可以不管其在视场的位置即可检测出其他特征。此外,权重共享通过极大地降低自由参数的数目而增加了学习效率。