知识卡片
共享滤波器检测模式
卷积把同一组可学习权重用于不同空间位置:滤波器与各位置的局部输入逐项相乘并求和。共享权重能在多处检测相似模式并减少参数;不同位置输入不同,即使权重相同输出也可不同。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 卷积神经网络 4.4 共享参数 · 查看原书依据
在提出简化技巧之前,我们先举个类似的例子. 就像教务处希望可以推大型的课程一样,假设每个院系都需要深度学习相关的课程,则没必要在每个院系都开设“机器学习”这门课,而是可以开一个比较大型的课程,让所有院系的人都学这门课.如果放在图像处理上,则可以让不同感受野的神经元共享参数,也就是做参数共享(parameter sharing),如图4.13 所示. 所谓参数共享,就是让两个神经元的权重完全一样.
参考来源
- 位置:《深度学习详解》第4章《卷积神经网络》4.4 共享参数(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter04.xhtml`)
- 结论依据:原文以图像及棋盘案例说明局部连接、参数共享和汇聚的条件与取舍。
- 原始内容:在提出简化技巧之前,我们先举个类似的例子. 就像教务处希望可以推大型的课程一样,假设每个院系都需要深度学习相关的课程,则没必要在每个院系都开设“机器学习”这门课,而是可以开一个比较大型的课程,让所有院系的人都学这门课.如果放在图像处理上,则可以让不同感受野的神经元共享参数,也就是做参数共享(parameter sharing),如图4.13 所示. 所谓参数共享,就是让两个神经元的权重完全一样.