知识卡片
深度逆向强化学习与引导代价学习
最大熵逆向强化学习虽化解歧义,落地仍难,卡在两处:回报函数的学习要人工挑特征,现实任务特征很难选;很多算法的子循环里嵌着正向强化学习,而正向强化学习本身就难解。对策一一对应:用深度神经网络逼近回报函数取代人工特征,用基于采样的方法替代正向强化学习。引导代价逆向学习就是这套组合——把示例轨迹的负对数似然当目标,用背景分布的样本估计配分函数;背景分布最关键,应自适应地在当前高回报区多采样,文中借第10章的引导策略搜索 cGPS 得到它。样本来自多个分布时要融合分布算重要性权重以保证估计连续;网络带来强非线性,还需惩罚状态二阶导数等正则抑制高频震荡。这种把采样、代价更新与策略搜索交替推进的做法,是深度逆向强化学习走向实用的代表。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第11章 逆向强化学习 · 查看原书依据
上面的第一个问题涉及回报函数的表示问题,要想取代人为的特征设计,可以利用深度神经网络来逼近回报函数,利用深度神经网络来解决逆向强化学习的算法称为深度逆向强化学习算法;针对第二个问题,可以采用基于采样的方法替代正向强化学习。
参考来源
- 位置:《深入浅出强化学习:原理入门》第11章 逆向强化学习(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00022.html)
- 结论依据:正文列出最大熵逆向强化学习的两大应用障碍及对应解法,并介绍引导代价逆向学习的采样、背景分布、cGPS 与两种正则化。
- 原始内容:上面的第一个问题涉及回报函数的表示问题,要想取代人为的特征设计,可以利用深度神经网络来逼近回报函数,利用深度神经网络来解决逆向强化学习的算法称为深度逆向强化学习算法;针对第二个问题,可以采用基于采样的方法替代正向强化学习。