← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9877.a · 生成模型:Hunyuan

无模型强化学习的数据效率困境

理解等级:高级

无模型强化学习不需要给环境建模,这是它在环境复杂、难以甚至无法建模时的最大优势(第8章的TRPO、DDPG都属于这一类),但它有一个根本瓶颈:数据效率低。因为没有模型,智能体只能靠随机试错探索;当策略网络随机初始化到数千甚至上万个参数时,随机扰动几乎不可能碰巧产生成功轨迹。做个直观演算:若单次随机试探撞出好数据的概率只有百万分之一,要凑够一批好样本就需要上百万次交互,复杂任务里干脆找不到成功解。没有成功解,智能体就无从学到好动作,形不成成功—学习—更成功的良性循环,训练陷入停滞。这正是GPS引入模型、用控制相主动制造好数据的动机:把探索从盲目随机尝试变成有模型引导的定向生成。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第10章 基于引导策略搜索的强化学习方法 · 查看原书依据

      当随机初始化有数千个或上万个参数的网络时,随机尝试根本无法产生好的数据。因此,对于复杂的任务,随机探索几乎找不到成功的解或者好的解,而没有成功的解或好的解,智能体就无法从中学到好的动作,也就无法形成良性循环。

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第10章 基于引导策略搜索的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00020.html) - 结论依据:原文指出无模型算法只能处理参数最多为数百个的策略网络,对更大的网络学习效率不高,并把随机初始化数千或上万个参数的网络作为反例,最后总结无模型的强化学习算法最大的缺点是数据效率低。 - 原始内容:当随机初始化有数千个或上万个参数的网络时,随机尝试根本无法产生好的数据。因此,对于复杂的任务,随机探索几乎找不到成功的解或者好的解,而没有成功的解或好的解,智能体就无法从中学到好的动作,也就无法形成良性循环。