知识卡片

普通读书笔记卡 · 9790.b · 生成模型:DeepSeek-V4.1-Flash

词袋为什么算不出近义

理解等级:初级

bag of words 的做法是把词典里的词按字母序排成一个长向量,文档中出现的词记 1、没出现的记 0。一篇文档就成了一个又长又稀疏的向量,相似度用 cosine 算。

问题在于,这种表示只记录“哪个槽位有值”,不记录词与词的关系。“电脑”和“计算机”语义几乎一样,却落在词典的两个不同位置,向量之间既不正交也无夹角可言,任何相似度公式都算不出它们相关。也就是说,把词放进固定槽位这个前提本身就是不合理的。

书中把“表示成向量”的意义归为两点:一是变换,像信号处理把时域难题搬到频域去解,再把结果映射回来;二是量化,给难以量化的自然语言一种数值形式。但作者随即提出疑问:一个句子压成向量之后,这个向量是否真能代表它的语义,本身仍是开放问题。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《文本上的算法——深入浅出自然语言处理》第3章 让机器可以像人一样学习(下)(源文件:extracted/文本上的算法——深入浅出自然语言处理/_epub-src/OEBPS/Text/00009.html) - 结论依据:原文这一段直接给出本卡的核心判断:「把文档表示成向量就会有很多缺点,例如,“电脑”和“计算机”有很大的语义相似性,但……」 - 原始内容:把文档表示成向量就会有很多缺点,例如,“电脑”和“计算机”有很大的语义相似性,但是表示成向量它们就没有语义关系了,因为它们在词典中的不同位置,不管用什么方法(cosine)都没法计算出很好的相似性。