知识卡片
term紧密度决定能否拆开
分词之后还要判断词与词挨得有多紧。“老大的幸福在线观看”会切成老大/的/幸福/在线/观看,但“老大的幸福”是电视剧名,属于一个整体,召回文档里必须连在一起出现,拆开就不算命中;“在线/观看”次一等,最好相邻,分开也能接受;两组之间则允许插入别的词。于是紧密度给出的是一组“必须连、尽量连、可以散”的约束,打分时比较文档中这些词的真实相邻关系是否与查询一致。这也解释了为什么专名识别在这里不是点缀:词表匹配影视名、模型识别人名地名机构名,专名切错,紧密度约束就建立在错误的分组上,后面的相关性计算再精细也补不回来。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第6章 搜索引擎是什么玩意儿 · 查看原书依据
举例来说,有个Query是“老大的幸福在线观看”(分词结果为老大/的/幸福/在线/观看),在这个Query中,“老大的幸福”就是最紧密的,因为它是个专有名词(电视剧名)。这意味着召回的结果中,它们必须合并到一起,不能分开
参考来源
- 位置:《文本上的算法——深入浅出自然语言处理》第6章 搜索引擎是什么玩意儿(源文件:extracted/文本上的算法——深入浅出自然语言处理/_epub-src/OEBPS/Text/00013.html)
- 结论依据:原文这一段直接给出本卡的核心判断:「举例来说,有个Query是“老大的幸福在线观看”(分词结果为老大/的/幸福/在线……」
- 原始内容:举例来说,有个Query是“老大的幸福在线观看”(分词结果为老大/的/幸福/在线/观看),在这个Query中,“老大的幸福”就是最紧密的,因为它是个专有名词(电视剧名)。这意味着召回的结果中,它们必须合并到一起,不能分开