知识卡片
从分词到图谱的查询重写
广告召回前要先读懂查询,这一步分两个任务:识别意图、改写查询。
意图识别沿用搜索的查询分析:分词、计算各标引项权重;再做查询类目识别,判定这条查询属于哪个类目,通常转成文本分类问题(传统统计模型或深度网络都可以)。真正决定效果的是数据准备,经验集中在两处:
- 预处理:泛化命名实体;把文本长度规范到均值或中位数;建词典时取高频词或过滤过低频词、去停用词,并保证词表里的词能在预训练词向量里找到对应项,否则词嵌入等于随机初始化;中文要先决定是否分词、用哪个分词器,分词后可按词长过滤降维;数据增强可用随机删除、改变顺序、同义词替换。
- 训练:特征工程三条老路(词袋维度高且稀疏、向量空间模型要看文档频率/互信息/信息熵增益/卡方、主题模型用 PLSA/LDA 且解释性好);先建基线再逐个换模型比较;双向 RNN 一般优于单向;注意训练震荡与学习率调整。
查询重写有两条路。一是查询扩展:「阿迪运动鞋」靠同义关系扩成「阿迪达斯运动鞋」;「小棕瓶眼霜」没写品牌,就用知识图谱把「小棕瓶」连到「雅诗兰黛」,改写成「雅诗兰黛眼霜」。二是相关性分析:给定查询 Q 和待比对的短文本 D,判定 0–5 的相关性档位,这可以抽象成排序学习问题,用 DSSM 一类模型解,但难点在标注——完全监督往往不现实,实践中要配合弱标注或少量人工标注。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第12章 推荐应用实战:基于广告的推荐 · 查看原书依据
再举一个例子“小棕瓶眼霜”,这个查询中并没有提到“小棕瓶”属于哪一个品牌,所以可以通过知识图谱建立“小棕瓶”与“雅诗兰黛”品牌的关系,这里可以将“小棕瓶眼霜”直接改写为“雅诗兰黛眼霜”。
参考来源
- 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第12章 推荐应用实战:基于广告的推荐(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0158.html)
- 结论依据:原文用这个具体例子说明知识图谱如何补全查询中缺失的品牌信息并完成改写,是查询重写机制的直接例证。
- 原始内容:再举一个例子“小棕瓶眼霜”,这个查询中并没有提到“小棕瓶”属于哪一个品牌,所以可以通过知识图谱建立“小棕瓶”与“雅诗兰黛”品牌的关系,这里可以将“小棕瓶眼霜”直接改写为“雅诗兰黛眼霜”。