知识卡片
词表外词的表示
词的独热编码为词典中每个词分配一个维度,未出现的词不能直接对应已有维度。一种办法是使用统一的其他词标记,但不同未知词因此无法区分;书中也介绍用字符片段构造向量,以利用词的内部组成。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 循环神经网络 5.1 独热编码 · 查看原书依据
如果只用独热编码来描述一个词,就会产生一些问题,因为可能有很多模型没有见过的词. 需要在独热编码里面多加维度,用一个维度代表other,如图5.3(a)所示,将不在词表中的词(比如pig和cow)归类到other里面.我们可以用每一个词的字母来表示这个词的一个向量,以apple为例,apple里面出现了app、ple、ppl. 在apple的这个向量里面,对应到app、ple、ppl的维度就是1,其他的都为0,如图5.3(b) 所示.
参考来源
- 位置:《深度学习详解》第5章《循环神经网络》5.1 独热编码(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter05.xhtml`)
- 结论依据:原文以词表和槽填充例子说明未知词表示与循环状态的作用。
- 原始内容:如果只用独热编码来描述一个词,就会产生一些问题,因为可能有很多模型没有见过的词. 需要在独热编码里面多加维度,用一个维度代表other,如图5.3(a)所示,将不在词表中的词(比如pig和cow)归类到other里面.我们可以用每一个词的字母来表示这个词的一个向量,以apple为例,apple里面出现了app、ple、ppl. 在apple的这个向量里面,对应到app、ple、ppl的维度就是1,其他的都为0,如图5.3(b) 所示.