知识卡片
CNN为何不适合文本序列
CNN 靠“局部连接”和“权值共享”提取相邻区域特征,前提是相邻像素大概率互相关联、同属一个物体的一部分。文本不满足这一前提。
在句子里,前一个词对当前词的词性推断影响很大:“游戏”既可名可动,前面是“玩”就确定为名词;同一词如“水份”在不同场景含义不同,远不如视觉直观。更关键的是,CNN 中输入输出相对确定,卷积核大小固定、对全图通用,上一次输出对下一次输出没有影响。而理解一句话需要把词连接起来的完整内容,这种“前后数据有关联”的内容就是时间序列数据——文字序列、视频帧序列都属此类。
结论:CNN 难以处理长短不一且前后关联的序列样本,需要新的网络结构。边界:这里否定的只是用纯 CNN 直接建模序列关联,CNN 仍可与 RNN 配合。迁移启发:选模型前先看数据“是否定长、前后是否独立”。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 自然语言处理与循环神经网络 12.2.1 CNN为什么不能处理文本 · 查看原书依据
在传统的卷积神经网络中,输入和输出都是相对确定的,卷积核被设定好大小以后,其对整个图像的每个像素都适用,并且上一个输出结果对下一个输出结果没有任何影响。
参考来源
- 位置:《产品经理进阶:100个案例搞懂人工智能 (林中翘)》第12章《自然语言处理与循环神经网络》(源文件:`../../book-sources/extracted/产品经理进阶:100个案例搞懂人工智能 (林中翘)/_epub-src/OEBPS/text00017.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292)
- 结论依据:原文对比图像相邻像素相关与文本词间语义相关,并指出卷积核固定、输出互不影响,支撑“CNN 不适合文本序列”的结论。
- 原始内容:在传统的卷积神经网络中,输入和输出都是相对确定的,卷积核被设定好大小以后,其对整个图像的每个像素都适用,并且上一个输出结果对下一个输出结果没有任何影响。