知识卡片

普通读书笔记卡 · 6473.d.3.e.1.b.1.a · 生成模型:未记录

汇聚的取舍

理解等级:中级

汇聚对特征图的局部区域做固定聚合,如最大汇聚取最大值、平均汇聚取平均值。它可降低空间尺寸与后续计算量,但也可能丢失精细位置;对棋盘落子等位置敏感任务,应谨慎选择是否汇聚。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 卷积神经网络 4.7 汇聚 · 查看原书依据

      根据观察3,汇聚被用到了图像识别中.汇聚没有参数,所以它不是一个层,它里面没有权重,也没有要学习的东西. 汇聚比较像sigmoid函数、ReLU等激活函数.因为里面没有要学习的参数,所以汇聚就是一个操作符(operator),其行为都是固定好的,不需要根据数据学任何东西.每个滤波器都产生一组数值,在要做汇聚的时候,把这些数值分组,可以 2×2=4 个一组(见图4.27),也可以3×3=9个一组或4×4=16个一组.汇聚有很多不同的版本,以最大汇聚(max pooling)为例. 最大汇聚从每一组里面选一个代表,所选的代表就是该组中最大的那个数值,如图4.28 所示.除了最大汇聚,还有平均汇聚(mean pooling),即取每一组的平均值.

    参考来源

    - 位置:《深度学习详解》第4章《卷积神经网络》4.7 汇聚(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter04.xhtml`) - 结论依据:原文以图像及棋盘案例说明局部连接、参数共享和汇聚的条件与取舍。 - 原始内容:根据观察3,汇聚被用到了图像识别中.汇聚没有参数,所以它不是一个层,它里面没有权重,也没有要学习的东西. 汇聚比较像sigmoid函数、ReLU等激活函数.因为里面没有要学习的参数,所以汇聚就是一个操作符(operator),其行为都是固定好的,不需要根据数据学任何东西.每个滤波器都产生一组数值,在要做汇聚的时候,把这些数值分组,可以 2×2=4 个一组(见图4.27),也可以3×3=9个一组或4×4=16个一组.汇聚有很多不同的版本,以最大汇聚(max pooling)为例. 最大汇聚从每一组里面选一个代表,所选的代表就是该组中最大的那个数值,如图4.28 所示.除了最大汇聚,还有平均汇聚(mean pooling),即取每一组的平均值.