知识卡片
相似度模型逐层加特征
这条演进线上每一步都是被前一步的具体失败逼出来的。Bool 模型只用“出现与否”,无法体现有些词更重要,于是 tf*idf 把位置上的 0/1 换成 tf*idf 权重,引入局部与全局信息。tf 会随句子变长而变大,长句占便宜,BM25 就在分母引入文档长度与平均长度做归一。词袋丢掉了顺序,“老大/的/幸福”与“幸福/的/老大”得分相同,Proximity 补上词间距离。关键词模型要求字面相同,“计算机/好用”与“电脑/耐用”会得零分,语义(主题)模型补上同义与主题相近。词面很像但意思相反的情况(“显示器的颜色”与“显示器变颜色”)则要靠句法树匹配。最后深度表示模型直接把句子压成语义向量。共性是:加一类特征,表达能力上升,标注与计算成本也上升,实际系统常用多个模型加权融合。
结构图:
flowchart LR
A[Bool: 是否出现] --> B[tf*idf: 加权重]
B --> C[BM25: 加长度归一]
C --> D[Proximity: 加位置]
D --> E[语义模型: 加主题]
E --> F[句法模型: 加句法树]
F --> G[深度表示: 句子向量]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 你要知道的一些术语 · 查看原书依据
我有个句子Q(老大/的/幸福),分别去和两个句子D1(老大/的/幸福)和D2(幸福/的/老大)计算相似度,发现两个的分数一样啊,但是很显然Q和D1的相似度要比Q和D2的相似度要高啊!
参考来源
- 位置:《文本上的算法——深入浅出自然语言处理》第5章 你要知道的一些术语(源文件:extracted/文本上的算法——深入浅出自然语言处理/_epub-src/OEBPS/Text/00012.html)
- 结论依据:原文这一段直接给出本卡的核心判断:「我有个句子Q(老大/的/幸福),分别去和两个句子D1(老大/的/幸福)和D2(幸……」
- 原始内容:我有个句子Q(老大/的/幸福),分别去和两个句子D1(老大/的/幸福)和D2(幸福/的/老大)计算相似度,发现两个的分数一样啊,但是很显然Q和D1的相似度要比Q和D2的相似度要高啊!