知识卡片
长尾查询让两种方法失效
长尾查询指出现频次极低的那一大批查询:它们加起来占比不低,但单条几乎没有历史。两条常规路线在这里同时失灵。
基于规则:要为每个长尾人工枚举词典、同义词、改写模板,成本随长尾长度线性上涨,永远追不上新词产生的速度。 基于机器学习:需要样本,而长尾恰恰没有足够样本,模型只能退化成先验,标注成本也无法摊薄。
即使覆盖问题解决了,真正的语义召回依然困难——用户说「送女朋友的生日礼物」,系统要召回巧克力、鲜花、口红,这已经超出词匹配的能力范围。
可行的方向是把长尾向头部归并:用点击行为把稀疏查询映射到已有头部查询或叶子类目,再保留语义向量做兜底。这也解释了为什么查询日志与点击日志是搜索团队最贵的资产:它既是样本来源,也是长尾归并的依据。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第11章 搜索应用实战:基于电商的搜索开发 · 查看原书依据
比如,针对长尾关键词查询,如果用基于规则的方式处理,工作量大;如果用机器学习的方式处理,没有足够的样本支持。另外,从技术实现角度看,真正做到语义上的召回也是非常有挑战的。
参考来源
- 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第11章 搜索应用实战:基于电商的搜索开发(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0148.html)
- 结论依据:原文对长尾查询给出两条失败路径(规则工作量大、机器学习缺样本)并补充语义召回困难,说明这是方法层面而非实现层面的边界。
- 原始内容:比如,针对长尾关键词查询,如果用基于规则的方式处理,工作量大;如果用机器学习的方式处理,没有足够的样本支持。另外,从技术实现角度看,真正做到语义上的召回也是非常有挑战的。