知识卡片
用一步转移拟合环境
把观察到的一次真实转移写成输入为状态和动作,标签为下一状态和奖励。对有限状态可用出现次数估计转移分布,用逐对样本平均估计期望奖励。构造模型后,可以在其中生成假想转移继续练习。预测误差会传入规划,尤其是过去很少观察或完全未见的状态动作对。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 学习与规划 11.2.2 监督式学习构建模型 · 查看原书依据
训练集的每一行都是一个状态转换数据。求取状态转换函数Pη的问题是一个密度估计问题,求取回报函数Rη的问题是一个回归问题。训练过程如下:选择一个损失函数表示预测值与真实值的不一致程度,如均方差、KL散度等都可以拿来使用。采用相应的优化方法,如梯度下降法等来优化参数η,使得经验损失最小。损失函数越小,模型的鲁棒性就越好。
参考来源
- 位置:《强化学习》第11章《学习与规划》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-020.xhtml#isbn9787302538295_11_1_2_2`)
- 结论依据:原文列出监督训练样本和查表模型的两种经验估计,并解释模型可生成虚拟经历。
- 原始内容:训练集的每一行都是一个状态转换数据。求取状态转换函数Pη的问题是一个密度估计问题,求取回报函数Rη的问题是一个回归问题。训练过程如下:选择一个损失函数表示预测值与真实值的不一致程度,如均方差、KL散度等都可以拿来使用。采用相应的优化方法,如梯度下降法等来优化参数η,使得经验损失最小。损失函数越小,模型的鲁棒性就越好。