知识卡片

普通读书笔记卡 · 9812.q · 生成模型:DeepSeek-V4.1-Flash

意图分类:标签体系与模型选型

理解等级:高级

意图分类的前提是先有一套能覆盖用户需求的意图标签,而且必须把 Query 侧与 item 侧的标签体系统一起来——只有两侧说同一种语言,才能在预测出 Query 的标签分布后,直接拿标签去倒排索引里召回对应 item。这一步在电商里尤其值钱:识别出 Query 的商品类别,按类别召回同类商品,能救回大量「Query 无结果」的case。

任务性质上,Query 短且意图可能不止一个,所以是多标签分类而非单标签。样本可以半自动构造:用用户搜索行为分布、item 标签、站点行业分类反推 Query 标签。类别不平衡要靠上下采样处理,标注成本高时用主动学习挑最有价值的样本去标。

模型选型有一条清晰的权衡线:

模型 优势 局限
Fasttext 词与 n-gram 向量平均后 softmax,训练快、接口性能高,字符级 n-gram 缓解未登录词 浅层结构,准确率偏低
TextCNN 多尺寸卷积核抓不同窗口的 n-gram,max/kmax pooling 保留最强特征,训练与线上性能都好 长程依赖弱
TextRNN GRU/LSTM 建模词序与长距离依赖 训练耗时更长

对短 Query,TextRNN/TextCNN 往往已够用;再加 dropout、batch normalize 防过拟合,输入层接预训练词向量还能进一步提升。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第4章 搜索系统框架及原理(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0064.html) - 结论依据:原文说明两侧标签必须统一,原因是要用预测出的标签直接去倒排索引召回 item,这是标签体系设计的约束来源。 - 原始内容:这里需要对Query侧和item侧的标签体系进行统一,以便在预测出某个Query的意图标签分布后直接用标签去倒排索引中召回属于这些标签的item。