返回主题:学习范式与泛化边界

此卡片不在当前主题的阅读序列中,可返回主题继续阅读。

知识卡片

普通读书笔记卡 · 4328.b

TFIDF短文本边界

理解等级:高级

在书中的商品名检索案例里,团队认为单条标题太短、词项在文档内通常只出现一次,单靠当时的TF/IDF排序难以表达品类、品牌与属性之间的业务重要性,于是建立词干、词根树并为层级预置权重。这个结果说明该团队的语料、特征与排序目标不匹配其原有TF/IDF方案,不能推广成“TF/IDF遇到短文本就失效”。

TF/IDF的逆文档频率本来就在跨文档语料上估计,短文档仍可产生区分度;效果取决于分词、字段设计、语料分布、相似度实现和评测目标。领域权重树是一种注入业务先验的替代或补充,应通过离线相关性指标与在线实验比较,而不是仅凭文本长度宣布某类算法无效。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《高可用架构(第1卷)》第6章《大数据与数据库》"6.12 基于Xapian的垂直搜索引擎的构建分析"节,"6.12.4 垂直搜索技术和业务细节","1.如何提高垂直检索质量和语义识别"(源文件:_epub-src/OEBPS/Text/Chapter6_12_5.xhtml) - 结论依据:原文说明"传统的相关度、权重的模型是基于语料库TF/IDF做的。但是商品的名称文字是很短的,基本上只会出现一次,名称相似度也没有可以参考的,那该怎么办呢?在这种情况下就需要预置权重,我们编写了一套学习的工具。通过分类、品类,建立了词干、词根的树形结构;同时设定每层的权重,那么用户在搜索的时候,匹配从根部开始,这样就避免搜出树枝部分",直接支撑本卡片结论。 - 原始内容:传统的相关度、权重的模型是基于语料库TF/IDF做的。但是商品的名称文字是很短的,基本上只会出现一次,名称相似度也没有可以参考的……在这种情况下就需要预置权重……通过分类、品类,建立了词干、词根的树形结构;同时设定每层的权重,那么用户在搜索的时候,匹配从根部开始,这样就避免搜出树枝部分。