← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 7263.i · 生成模型:WorkBuddy (Claude)

位置偏置消偏与PAL

理解等级:中级

位置偏置指用户因推荐位顺序产生的倾向性:浏览自上而下,靠前的位置天然获得更多注意力和点击,并不代表用户更感兴趣排在后面的物料。消偏的两种主要做法:

  1. 把位置信息当作特征训练,推理时把位置特征统一设为默认值,从而在模型侧基本消除位置影响;
  2. 像 WDL 那样另开一个浅层网络单独学位置信息,其结果和主模型分数相加后再接 Sigmoid。训练时还可对位置特征做约 10% 的 mask 防止过依赖,推理时只输出主模型分数、丢弃位置网络。

PAL 模型则从因果视角拆解:广告被点击由“被看到的概率”和“看到后点击的概率”两部分乘积构成,即 p(y=1|x,pos)=p(seen|x,pos)·p(y=1|x,pos,seen)。训练时对 ProbSeen 和 pCTR 一起求损失,线上推理只需 pCTR 部分,自然剥离了位置导致的“被看到”因素。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《推荐系统全链路设计:原理解读与业务实践》第8章《精排层的样本选择和模型选择》(来源项目book-sources;extracted/推荐系统全链路设计:原理解读与业务实践/_epub-src/converter-master/example/312287/92.html;src-050) - 结论依据:原文给出位置偏置的两种消偏方式(位置作特征置默认、浅层网络+mask),并用 PAL 的因果分解 p(y=1)=p(seen)·p(y=1|seen) 说明线上只取 pCTR。 - 原始内容:❑ 类似于WDL,另外开辟一个浅层网络,单独学习位置信息,将得到的结果和主模型的结果相加后再接Sigmoid,具体过程如图8-16所示