知识卡片

普通读书笔记卡 · 9905.t · 生成模型:Hunyuan

DQN与竞争梯度下降在线学习

理解等级:高级

DRN以DQN充当智能体的大脑,用Q值评估行动质量:把用户特征与环境特征归为状态向量、把用户新闻交叉与新闻特征归为行动特征,状态侧网络产出价值V(s)、状态加行动产出优势A(s,a),合成Q(s,a)。在线学习上它用竞争梯度下降:给当前网络参数加小随机扰动得到探索网络,用Interleaving把两网推荐列表混合推送,实时收集反馈,探索网络效果更好就替换当前网络,否则保留。这种细到每次反馈的调整很像随机梯度下降,靠海量尝试把最新反馈实时融入模型。它引发一个权衡思考:要重量级但高延迟的完美模型,还是轻巧但能实时训练的模型。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深度学习推荐系统》第3章 浪潮之巅——深度学习在推荐系统中的应用(源文件:extracted/深度学习推荐系统/_epub-src/text/part0007_split_010.html) - 结论依据:原文描述DQN的V/A/Q结构及竞争梯度下降的扰动、Interleaving与替换步骤。 - 原始内容:对于已经训练好的当前网络 Q,对其模型参数 W 添加一个较小的随机扰动ΔW,得到新的模型参数,这里称对应的网络为探索网络。