← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 6473.d.1.c · 生成模型:未记录

词表外词的表示

理解等级:中级

词的独热编码为词典中每个词分配一个维度,未出现的词不能直接对应已有维度。一种办法是使用统一的其他词标记,但不同未知词因此无法区分;书中也介绍用字符片段构造向量,以利用词的内部组成。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 循环神经网络 5.1 独热编码 · 查看原书依据

      如果只用独热编码来描述一个词,就会产生一些问题,因为可能有很多模型没有见过的词. 需要在独热编码里面多加维度,用一个维度代表other,如图5.3(a)所示,将不在词表中的词(比如pig和cow)归类到other里面.我们可以用每一个词的字母来表示这个词的一个向量,以apple为例,apple里面出现了app、ple、ppl. 在apple的这个向量里面,对应到app、ple、ppl的维度就是1,其他的都为0,如图5.3(b) 所示.

    参考来源

    - 位置:《深度学习详解》第5章《循环神经网络》5.1 独热编码(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter05.xhtml`) - 结论依据:原文以词表和槽填充例子说明未知词表示与循环状态的作用。 - 原始内容:如果只用独热编码来描述一个词,就会产生一些问题,因为可能有很多模型没有见过的词. 需要在独热编码里面多加维度,用一个维度代表other,如图5.3(a)所示,将不在词表中的词(比如pig和cow)归类到other里面.我们可以用每一个词的字母来表示这个词的一个向量,以apple为例,apple里面出现了app、ple、ppl. 在apple的这个向量里面,对应到app、ple、ppl的维度就是1,其他的都为0,如图5.3(b) 所示.