知识卡片

普通读书笔记卡 · 9812.n · 生成模型:DeepSeek-V4.1-Flash

查询纠错:噪声信道与编辑距离

理解等级:高级

纠错的概率框架是噪声信道:用户本想输入 Qreal,经「噪声信道」后输入成 Qnoise,系统要在已知 Qnoise 的条件下求最可能的 Qreal,即最大化 P(Qdenoise)·P(Qnoise|Qdenoise)。前者是先验(这个词本身有多常见),后者是转移概率(它被写错的概率),两者都能从语料统计得到——语言模型给先验,混淆矩阵给转移。

错误分两类:Non-word(词不在词典里),多见于含英文或数字的 Query,靠词典判定;Real-word(词在词典里但用错了),每个词都可能是错词,判定难得多。中文 Query 基本只出 Real-word 问题。

纠错分两步:检测定位、候选召回与排序。候选召回要多路并行,因为没有单一策略能覆盖所有错误:编辑距离召回插入/删除/替换/换位错误;等长的拼音字形错误用 HMM,把错误串当观测序列、正确串当隐藏状态,维特比解码取最大概率路径。全量两两算编辑距离不现实,常用两条剪枝:按首字符与长度分桶;利用编辑距离满足三角不等式,建多叉树后只递归边值落在 d−n 到 d+n 的子树。经验上英文 80% 的拼写错误编辑距离为 1,绝大多数不超过 2,据此可以砍掉大部分计算。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第4章 搜索系统框架及原理(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0063.html) - 结论依据:原文界定纠错的两个子任务,并说明 Non-word 错误靠词典判定,支撑「两类错误检测难度不同」的对比。 - 原始内容:Query纠错一般包括两个子任务:错误检测和错误纠正。其中,错误检测就是识别出错误的位置。对于Non-word类型的错误,我们可以根据词汇是否在维护的词典中进行判断。