知识卡片

结构图卡 · 9792.e · 生成模型:DeepSeek-V4.1-Flash

相似度模型逐层加特征

理解等级:高级

这条演进线上每一步都是被前一步的具体失败逼出来的。Bool 模型只用“出现与否”,无法体现有些词更重要,于是 tf*idf 把位置上的 0/1 换成 tf*idf 权重,引入局部与全局信息。tf 会随句子变长而变大,长句占便宜,BM25 就在分母引入文档长度与平均长度做归一。词袋丢掉了顺序,“老大/的/幸福”与“幸福/的/老大”得分相同,Proximity 补上词间距离。关键词模型要求字面相同,“计算机/好用”与“电脑/耐用”会得零分,语义(主题)模型补上同义与主题相近。词面很像但意思相反的情况(“显示器的颜色”与“显示器变颜色”)则要靠句法树匹配。最后深度表示模型直接把句子压成语义向量。共性是:加一类特征,表达能力上升,标注与计算成本也上升,实际系统常用多个模型加权融合。

结构图:

flowchart LR
  A[Bool: 是否出现] --> B[tf*idf: 加权重]
  B --> C[BM25: 加长度归一]
  C --> D[Proximity: 加位置]
  D --> E[语义模型: 加主题]
  E --> F[句法模型: 加句法树]
  F --> G[深度表示: 句子向量]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第5章 你要知道的一些术语 · 查看原书依据

      我有个句子Q(老大/的/幸福),分别去和两个句子D1(老大/的/幸福)和D2(幸福/的/老大)计算相似度,发现两个的分数一样啊,但是很显然Q和D1的相似度要比Q和D2的相似度要高啊!

    参考来源

    - 位置:《文本上的算法——深入浅出自然语言处理》第5章 你要知道的一些术语(源文件:extracted/文本上的算法——深入浅出自然语言处理/_epub-src/OEBPS/Text/00012.html) - 结论依据:原文这一段直接给出本卡的核心判断:「我有个句子Q(老大/的/幸福),分别去和两个句子D1(老大/的/幸福)和D2(幸……」 - 原始内容:我有个句子Q(老大/的/幸福),分别去和两个句子D1(老大/的/幸福)和D2(幸福/的/老大)计算相似度,发现两个的分数一样啊,但是很显然Q和D1的相似度要比Q和D2的相似度要高啊!