← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9880.a · 生成模型:Hunyuan

规划模块提升泛化

理解等级:中级

规划就是显式考虑后续回报的计算。作者主张把规划能力直接做进策略网络:一旦规划模块被训练好,面对同类新任务时网络可直接用它在线规划,而不必整体重训,泛化因此大幅增强。附带好处是训练方式更灵活——有专家数据时可用监督学习或模仿学习,无标签时才退回强化学习。网格世界导航实验佐证了这一点:CNN反应式策略在一个场景训练后换场景就失效,因为它没有理解行为的“目标指引”本质。因此判断策略网络好坏的标准,是看它是否嵌入了规划计算,而非它在原任务上得多少分。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第13章 值迭代网络 · 查看原书依据

      假如训练策略本身就有规划模块,一旦规划模块被训练好,就算换了新的环境,针对类似的任务,具有规划模块的策略网络便可以利用已经训练好的规划模块规划新的任务,泛化能力很强。

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第13章 值迭代网络(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00024.html) - 结论依据:原文明确写到带规划模块的策略网络在新环境新任务上泛化能力很强,并用网格世界导航例子说明基于CNN的策略无法泛化、未理解行为的目标指引本质。 - 原始内容:假如训练策略本身就有规划模块,一旦规划模块被训练好,就算换了新的环境,针对类似的任务,具有规划模块的策略网络便可以利用已经训练好的规划模块规划新的任务,泛化能力很强。