知识卡片

普通读书笔记卡 · 9792.d · 生成模型:DeepSeek-V4.1-Flash

文本相似度先变成定长向量

理解等级:中级

要把两句文本变成可计算的数字,最直接的办法是向量,但难点在“对齐”:第 k 位必须永远代表同一个词,否则两句话的向量没法逐位比较。于是需要把词典里所有词按固定顺序排好,每个词对号入座,向量长度就等于词典大小;Q 和 D 中出现的词在对应位置标 1,其余为 0,这就是 Bool 模型,之后可以直接算余弦。代价是维度等于词典规模、极度稀疏,实际实现不会真的展开这个长向量,而是用稀疏或倒排的方式只处理非零位。这也点明了后面各种模型的改进方向:换的不是距离公式,而是“每个位置放什么数字”——是否出现、权重、长度归一、位置、主题。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第5章 你要知道的一些术语 · 查看原书依据

      这是因为我们必须把向量都要统一起来,意思就是说,哪个词在向量的哪个位置上,都必须是确定的。要想确定,那就必须把所有的汉字都按某个序(字典序)排出来,然后各个词对号入座,这样整个向量的长度就是词典中词的个数。

    参考来源

    - 位置:《文本上的算法——深入浅出自然语言处理》第5章 你要知道的一些术语(源文件:extracted/文本上的算法——深入浅出自然语言处理/_epub-src/OEBPS/Text/00012.html) - 结论依据:原文这一段直接给出本卡的核心判断:「这是因为我们必须把向量都要统一起来,意思就是说,哪个词在向量的哪个位置上,都必须……」 - 原始内容:这是因为我们必须把向量都要统一起来,意思就是说,哪个词在向量的哪个位置上,都必须是确定的。要想确定,那就必须把所有的汉字都按某个序(字典序)排出来,然后各个词对号入座,这样整个向量的长度就是词典中词的个数。