知识卡片

普通读书笔记卡 · 3796.e.1

最大边际奖励区分专家轨迹

理解等级:中级

最大边际规划把奖励表示为特征的线性组合:每个状态有特征向量(矩阵 F 收集它们),权重 ω 决定各特征值多少奖励。行为用 μ 表示,即每个状态被访问的频次,于是行为 μ 的总回报是 ωᵀFμ。

学习目标是 min ½‖ω‖²+(γ/n)Σβᵢζᵢ^q,约束为 ωᵀFᵢμᵢ+ζᵢ ≥ max_μ(ωᵀFᵢμ+lᵢᵀμ):

  • μᵢ 是专家示范,lᵢᵀμ 是损失,衡量行为 μ 与专家选择不同动作的程度。约束要求专家回报至少比任何其他行为高出它的损失,越不像专家的行为要被拉开越大的差距(边际)。
  • ½‖ω‖² 是正则化,限制权重规模;松弛项 ζᵢ≥0 允许示范不能被完全解释,并在目标里受罚,γ、βᵢ、q 控制惩罚的强度与形式。

所得奖励受特征、可行轨迹和损失设计影响,不保证唯一,也不能把示范必然最优当作无条件事实。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 2 1 . 2 . 1 最 大 边 际 规 划 · 查看原书依据

      专家示例的值函数与其他策略的值函数的差值,即回报的边际差,与策略损失函数成正比。损失函数可以利用轨迹中两种策略选择不同动作的综合来衡量,此处策略μ指的是每个状态被访问的频次。

    参考来源

    - 位置:《智能算法导论》第 204 项《2 1 . 2 . 1 最 大 边 际 规 划》(源文件:`_epub-src/EPUB/xhtml/chapter21_0005.xhtml`) - 结论依据:正文解释线性奖励映射与专家边际,式21-13含正则化及松弛变量;原文“只允许专家最好”需结合松弛理解,μ是访问频次而非一般策略概率。 - 原始内容:找到一个特征到回报的线性映射,即参数ω……专家示例的值函数与其他策略的值函数的差值,即回报的边际差,与策略损失函数成正比。