知识卡片
DRN强化学习推荐框架
DRN把推荐系统当作强化学习里的智能体,与外部环境不断做行动、反馈、状态更新的循环:智能体是推荐模型加探索策略与数据存储,环境是网站或App与用户,行动是排序后推送新闻,反馈是点击或曝光未点击及活跃度信号,状态是已收到的行动反馈与用户新闻信息的特征表示。学习过程从初始化开始,推送积攒反馈、更新状态或训练模型、再重复,关键在于能在线学习、用最新数据及时自我更新,这是静态深度模型做不到的。它把实时性提到空前重要的位置,拓宽了推荐建模的思路。
结构图:
flowchart TD
AG[智能体 推荐模型加探索策略与memory] --> ACT[行动 排序推送新闻]
ACT --> ENV[环境 网站App与用户]
ENV --> FB[反馈 点击或曝光未点击]
FB --> ST[状态更新 特征向量表示]
ST --> AG
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第3章 浪潮之巅——深度学习在推荐系统中的应用 · 查看原书依据
如果把推荐系统也当作一个智能体,把整个推荐系统学习更新的过程当作智能体“行动-反馈-状态更新”的循环,就能理解将强化学习的诸多理念应用于推荐系统领域并不是一件困难的事情。
参考来源
- 位置:《深度学习推荐系统》第3章 浪潮之巅——深度学习在推荐系统中的应用(源文件:extracted/深度学习推荐系统/_epub-src/text/part0007_split_010.html)
- 结论依据:原文定义智能体、环境、行动、反馈、状态并给出迭代步骤,强调在线学习带来的收益。
- 原始内容:如果把推荐系统也当作一个智能体,把整个推荐系统学习更新的过程当作智能体“行动-反馈-状态更新”的循环,就能理解将强化学习的诸多理念应用于推荐系统领域并不是一件困难的事情。