知识卡片

普通读书笔记卡 · 9790.i · 生成模型:DeepSeek-V4.1-Flash

CNN 靠卷积和池化省参数

理解等级:中级

BP 这类全连接网络里,每个输出单元都和上一层全部单元相连,参数量随两边规模相乘增长,而且完全不管输入的二维结构——图像里相邻像素的关系、平移后的相似性,它都得从头学。

CNN 用卷积层替代全连接:一个卷积核在输入上滑动,同一组权重在整张图上反复使用,这就是权重共享,参数量只与核大小有关;每个输出只由一小块局部区域算出,这就是局部感知。卷积之后是下采样层(pooling),把邻域响应聚合成一个值,作用有三:降低特征维数、扩大后续层的感受野、顺带抑制过拟合。卷积与下采样交替堆叠,等于逐层提取越来越抽象的特征,最后接全连接层输出结果。

这个结构在图像上最自然,搬到文本上也有一定效果:卷积核相当于在词序列上滑动的 n-gram 检测器,文本分类与句子表示都有人这么用。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《文本上的算法——深入浅出自然语言处理》第3章 让机器可以像人一样学习(下)(源文件:extracted/文本上的算法——深入浅出自然语言处理/_epub-src/OEBPS/Text/00009.html) - 结论依据:原文这一段直接给出本卡的核心判断:「CNN通过卷积层来替代全连接,这样的好处是可以感知局部区域和权重共享,在卷积层之……」 - 原始内容:CNN通过卷积层来替代全连接,这样的好处是可以感知局部区域和权重共享,在卷积层之后是一个下采样层(subsampling或者叫pooling),下采样层可以降低特征维数,避免过拟合