知识卡片

普通读书笔记卡 · 3796.c

探索权衡未知动作与已有收益

理解等级:中级

强化学习要在探索和利用之间权衡:利用当前价值估计较高的动作获取收益,探索其他动作以修正不充分的经验。ε 型探索在多数时刻按当前估计选择,保留一定随机尝试机会。探索会付出短期代价,有限尝试也不保证找到最优策略;应区分动作价值估计与真实长期收益。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《智能算法导论》第 201 项《21.1 强化学习模型/21.1.1 强化学习思路》(源文件:`_epub-src/EPUB/xhtml/chapter21_0002.xhtml`) - 结论依据:正文指出总选当前最大价值动作会错过未执行动作,并以探索率说明随机尝试;并不据此承诺最优回报。 - 原始内容:当前轮迭代价值最大的动作被选择的概率高……会导致错过一些较好的但没有执行过的动作……设置存在一定的概率ε不选择当前轮迭代价值最大的动作,而选择其他的动作。