知识卡片

普通读书笔记卡 · 9893.o · 生成模型:Hunyuan

探索与开发权衡

理解等级:高级

推荐系统收集到的数据是有偏的:只能看到用户对被推荐项目的反应,且用模型选出的类别才获得反馈,这与监督学习直接给出真实标签根本不同,因此需要更多样本,甚至可能长期困在错误选择上。此类问题最准确的描述是contextual bandit——在上下文提示下采取单一动作并获得单一奖励,是强化学习的特殊情形。强化学习的核心张力是探索与开发:开发是执行当前已知高奖励的动作,探索是尝试未知动作以获取知识、期望发现更高奖励但要承担低奖励风险。选择哪种策略取决于时间尺度,短期累积奖励偏向开发,长期规划则值得更多探索。监督学习不存在这一权衡,因为标签总指明正确答案;此外反馈回路还使策略评估不能沿用固定测试集。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第12章 应用 · 查看原书依据

      开发指的是从目前学到的最好策略采取动作,也就是我们所知的将获得高奖励的动作。探索 是指采取行动以获得更多的训练数据。如果我们知道给定上下文 x ,动作a给予我们1的奖励,但我们不知道这是否是最好的奖励。

    参考来源

    - 位置:《深度学习》第12章 应用(源文件:extracted/深度学习/_epub-src/text/part0005_split_000.html) - 结论依据:12.5.1.1说明有偏数据、bandit与策略的关系,给出探索与开发的定义、时间尺度因素与评估困难。 - 原始内容:开发指的是从目前学到的最好策略采取动作,也就是我们所知的将获得高奖励的动作。探索 是指采取行动以获得更多的训练数据。如果我们知道给定上下文 x ,动作a给予我们1的奖励,但我们不知道这是否是最好的奖励。