知识卡片

普通读书笔记卡 · 9451.d · 生成模型:Tencent Hunyuan Hy

CNN为何不适合文本序列

理解等级:中级

CNN 靠“局部连接”和“权值共享”提取相邻区域特征,前提是相邻像素大概率互相关联、同属一个物体的一部分。文本不满足这一前提。

在句子里,前一个词对当前词的词性推断影响很大:“游戏”既可名可动,前面是“玩”就确定为名词;同一词如“水份”在不同场景含义不同,远不如视觉直观。更关键的是,CNN 中输入输出相对确定,卷积核大小固定、对全图通用,上一次输出对下一次输出没有影响。而理解一句话需要把词连接起来的完整内容,这种“前后数据有关联”的内容就是时间序列数据——文字序列、视频帧序列都属此类。

结论:CNN 难以处理长短不一且前后关联的序列样本,需要新的网络结构。边界:这里否定的只是用纯 CNN 直接建模序列关联,CNN 仍可与 RNN 配合。迁移启发:选模型前先看数据“是否定长、前后是否独立”。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《产品经理进阶:100个案例搞懂人工智能 (林中翘)》第12章《自然语言处理与循环神经网络》(源文件:`../../book-sources/extracted/产品经理进阶:100个案例搞懂人工智能 (林中翘)/_epub-src/OEBPS/text00017.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292) - 结论依据:原文对比图像相邻像素相关与文本词间语义相关,并指出卷积核固定、输出互不影响,支撑“CNN 不适合文本序列”的结论。 - 原始内容:在传统的卷积神经网络中,输入和输出都是相对确定的,卷积核被设定好大小以后,其对整个图像的每个像素都适用,并且上一个输出结果对下一个输出结果没有任何影响。