知识卡片
词向量数学化
词向量把语言符号变成可计算的对象。稀疏向量(独热)维数与词典一样大,只在对应位置为 1,任意两个词都正交,无法表达“意思相近”;密集向量把每个词映射成低维短向量,词义相近的词在空间中距离也近。语义搜索和问答匹配的前提,就是先让语言进入这样一个可度量的空间。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《人工智能产品经理:人机对话系统设计逻辑探究》第4章《智能交互技术》(源文件:_epub-src/OEBPS/text00008.html)
- 结论依据:原文说明词向量分稀疏向量和密集向量:稀疏向量维数与词典相当、只有一位为1,不同词向量永远正交,无法用余弦相似度刻画语义相关;密集向量把词映射为低维短向量,可用距离判断词义相似,是训练神经概率语言模型的副产品。
- 原始内容:稀疏向量表示下的不同词向量之间永远为正交关系,这就导致无法通过计算余弦相似度的方式刻画词与词之间的语义相关关系……在这个向量空间中引入“距离”之后,就可以利用词与词之间的距离判断两者在词义上的相似性