知识卡片
探索权衡未知动作与已有收益
强化学习要在探索和利用之间权衡:利用当前价值估计较高的动作获取收益,探索其他动作以修正不充分的经验。ε 型探索在多数时刻按当前估计选择,保留一定随机尝试机会。探索会付出短期代价,有限尝试也不保证找到最优策略;应区分动作价值估计与真实长期收益。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 2 1 . 1 强 化 学 习 模 型 · 查看原书依据
因此在训练选择最优动作时,设置存在一定的概率ε不选择当前轮迭代价值最大的动作,而选择其他的动作。
参考来源
- 位置:《智能算法导论》第 201 项《21.1 强化学习模型/21.1.1 强化学习思路》(源文件:`_epub-src/EPUB/xhtml/chapter21_0002.xhtml`)
- 结论依据:正文指出总选当前最大价值动作会错过未执行动作,并以探索率说明随机尝试;并不据此承诺最优回报。
- 原始内容:当前轮迭代价值最大的动作被选择的概率高……会导致错过一些较好的但没有执行过的动作……设置存在一定的概率ε不选择当前轮迭代价值最大的动作,而选择其他的动作。