← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9862.e · 生成模型:Hunyuan

美团MT-BERT知识增强

理解等级:高级

美团把BERT及知识图谱用于搜索排序。面对多业务场景差异,美团采用分区模型与排序任务的联合训练:输入层用BERT抽取POI名称、品类、品牌等文本特征,用Transformer抽取用户行为序列,统计与文本分词后转Embedding;共享层参数由各场景共用,场景层按业务单独设计网络、打分只走对应一路;因更关心头部结果,损失选用优化NDCG的Lambda函数。针对BERT随机掩码导致常识缺失、缺乏推理与独立性假设偏差等不足,MT-BERT做了两点改进:把知识图谱信息融入预训练,为模型提供先验常识与推理能力,例如区分宫保鸡丁的菜品意图与宫保鸡丁酱料的商品意图;把掩码对象从单字改为实体,先分词并与图谱实体对齐,再整体遮蔽学习实体语义及其与上下文的关联。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第13章 Embedding技术在推荐系统中的应用 · 查看原书依据

      为了处理上述情况,美团尝试在MT-BERT预训练过程中融入知识图谱信息。知识图谱可以组织现实世界中的知识,描述客观概念、实体、关系。这种基于符号语义的计算模型,可以为BERT提供先验知识,使其具备一定的常识和推理能力。

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第13章 Embedding技术在推荐系统中的应用(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter17_0003.xhtml) - 结论依据:原文详述了分区联合训练的四层结构与Lambda损失,并说明融入知识图谱与实体掩码两项改进及其动机与例子,支撑本卡。 - 原始内容:为了处理上述情况,美团尝试在MT-BERT预训练过程中融入知识图谱信息。知识图谱可以组织现实世界中的知识,描述客观概念、实体、关系。这种基于符号语义的计算模型,可以为BERT提供先验知识,使其具备一定的常识和推理能力。