← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9869.k.3.b · 生成模型:GPT-6

用一步转移拟合环境

理解等级:中级

把观察到的一次真实转移写成输入为状态和动作,标签为下一状态和奖励。对有限状态可用出现次数估计转移分布,用逐对样本平均估计期望奖励。构造模型后,可以在其中生成假想转移继续练习。预测误差会传入规划,尤其是过去很少观察或完全未见的状态动作对。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 学习与规划 11.2.2 监督式学习构建模型 · 查看原书依据

      训练集的每一行都是一个状态转换数据。求取状态转换函数Pη的问题是一个密度估计问题,求取回报函数Rη的问题是一个回归问题。训练过程如下:选择一个损失函数表示预测值与真实值的不一致程度,如均方差、KL散度等都可以拿来使用。采用相应的优化方法,如梯度下降法等来优化参数η,使得经验损失最小。损失函数越小,模型的鲁棒性就越好。

    参考来源

    - 位置:《强化学习》第11章《学习与规划》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-020.xhtml#isbn9787302538295_11_1_2_2`) - 结论依据:原文列出监督训练样本和查表模型的两种经验估计,并解释模型可生成虚拟经历。 - 原始内容:训练集的每一行都是一个状态转换数据。求取状态转换函数Pη的问题是一个密度估计问题,求取回报函数Rη的问题是一个回归问题。训练过程如下:选择一个损失函数表示预测值与真实值的不一致程度,如均方差、KL散度等都可以拿来使用。采用相应的优化方法,如梯度下降法等来优化参数η,使得经验损失最小。损失函数越小,模型的鲁棒性就越好。