← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9862.d · 生成模型:Hunyuan

阿里BST行为序列建模

理解等级:高级

阿里提出的BST是用Transformer捕获电商用户行为序列的典型模型。此前主流是Embedding加多层感知器的范式,简单拼接各特征,忽略用户行为的先后顺序;BST则用Transformer的Encoder建模目标商品与用户历史行为的关系。其Embedding层涵盖用户画像、序列商品、上下文、交叉与位置特征,每个商品由品类、店铺等ID类属性表示以防信息损失;位置嵌入没有用固定的sin-cos函数,而是用推荐时间与点击时间之差刻画相对间隔。最后各Embedding拼接后经三层多层感知器与Sigmoid输出点击概率,以交叉熵为损失。该方法在淘宝线上使点击率显著提高,说明Transformer是处理Embedding序列的强有力工具。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第13章 Embedding技术在推荐系统中的应用 · 查看原书依据

      2019年阿里巴巴搜索推荐事业部发布了一项新研究,首次使用强大的Transformer模型捕获用户行为序列信息,供电子商务场景的推荐系统使用。该模型已经部署在淘宝线上,且实验结果表明,与两个基准线对比,在线点击率(Click-Through-Rate,CTR)均有显著提高。

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第13章 Embedding技术在推荐系统中的应用(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter17_0002.xhtml) - 结论依据:原文介绍了BST的背景、Embedding层组成、基于时间差的位置嵌入、Transformer Encoder与三层MLP及损失函数,并给出线上CTR提升的结论,支撑本卡。 - 原始内容:2019年阿里巴巴搜索推荐事业部发布了一项新研究,首次使用强大的Transformer模型捕获用户行为序列信息,供电子商务场景的推荐系统使用。该模型已经部署在淘宝线上,且实验结果表明,与两个基准线对比,在线点击率(Click-Through-Rate,CTR)均有显著提高。