知识卡片
变换必须整句替换
查询变换包括同义改写(招商银行官网→招行官网)、纠错(天龙八步→天龙八部)、省略(招行客服电话→招行电话),做法上都是把词 A 换成词 B 而句意不变,省略只是把 B 换成空。关键的约束是替换必须发生在整句层面:只换词不看上下文会出严重错误,“南航网上值机”若把南航换成南京航空航天大学,语义就落到另一个实体上(南航既可指航空公司也可指那所大学)。既然变换后是一个新查询,就应该像原查询一样完整检索,各变换结果各成一个队列,最后按权重归并;而“直接把同义词塞进索引、再对同义命中的结果降权”会让同一队列里混进噪声,排序时更难分辨。同义扩展放在索引端还是查询端,本质是噪声可控性的取舍。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第6章 搜索引擎是什么玩意儿 · 查看原书依据
在Query变换中一定要强调的是,Query变换一定是句子级别的替换,否则会出现严重的badcase。例如“南航网上值机”如果替换成“南京航空航天大学网上值机”就是错误的,意思偏离了(南航的同义词是南京航空航天大学和中国南方航空)。
参考来源
- 位置:《文本上的算法——深入浅出自然语言处理》第6章 搜索引擎是什么玩意儿(源文件:extracted/文本上的算法——深入浅出自然语言处理/_epub-src/OEBPS/Text/00013.html)
- 结论依据:原文这一段直接给出本卡的核心判断:「在Query变换中一定要强调的是,Query变换一定是句子级别的替换,否则会出现……」
- 原始内容:在Query变换中一定要强调的是,Query变换一定是句子级别的替换,否则会出现严重的badcase。例如“南航网上值机”如果替换成“南京航空航天大学网上值机”就是错误的,意思偏离了(南航的同义词是南京航空航天大学和中国南方航空)。