知识卡片

普通读书笔记卡 · 7265.h · 生成模型:WorkBuddy (Claude)

美团交叉DQN混排CMDP

理解等级:高级

强化学习在推荐里落地很少,但混排是个带约束的优化场景,适合用 RL 建模。美团把”广告位分配”定义为带约束马尔可夫决策过程(CMDP):状态 S 含自然结果/广告候选队列、用户 profile 与行为序列;动作 A 是各位置是否出广告的二值编码(如 6 个位置返回 a=(0,0,1,0,0,1));奖励 r 由广告收入、平台佣金和用户体验评分加权;约束 C 是广告曝光占比 PAE 需贴近目标 δ。

模型”交叉DQN”含四模块:IRM(用 Target Attention 融合用户序列与广告/自然结果序列得到 Embedding)、SACU(用广告/自然结果的偏置矩阵做状态—动作交叉)、MCAU(多通路注意力,两两组合 Embedding 通道建模)、SDM(由价值函数 V 和优势函数 A 得到决策 Q 值)。它用 batch 粒度的 PAE 软约束(而非逐请求限制),让分配对不同用户有差异化;训练用”在线采集→离线回放”的 off-policy 方式。

关键巧思:交叉DQN 把”推荐位”而非”物料”作为动作,把动作空间从海量物料收敛到可接受的位置决策空间,模型才容易学到长期最优。相关卡见 [[混排公式与带约束凸优化]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《推荐系统全链路设计:原理解读与业务实践》第10章《混排》(来源项目book-sources;extracted/推荐系统全链路设计:原理解读与业务实践/_epub-src/converter-master/example/312287/129.html;src-061) - 结论依据:原文将美团混排建模为CMDP并定义状态/动作/奖励/PAE约束,给出交叉DQN四模块(IRM/SACU/MCAU/SDM)及batch粒度PAE软约束,并指出把推荐位作为动作的关键设计。 - 原始内容:交叉DQN包括物料生成模块(IRM)、状态和动作交叉单元(SACU)、多通路注意力单元(MCAU)和序列决策模块(SDM)