← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9869.k.2.b.2.a.1 · 生成模型:GPT-6

线性逼近对参数保持线性

理解等级:中级

线性价值函数是特征加权和 θᵀx(s)。特征可包含坐标与速度的乘积、多项式、余弦或相对中心距离的高斯响应。函数可以对状态非常非线性,但对待估参数仍是线性的。全阶特征可能随维数迅速增长,局部基的中心和宽度也会决定模型能否覆盖常见状态。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 值函数逼近 7.2 线性逼近 · 查看原书依据

      上述值函数表示虽然简单,但是忽略了不同维度特征之间的相互作用,如评估直升机飞行状态好坏的时候,需要同时考虑坐标和速度以及角速度等。因此需要对函数x(s)进行扩展,使其不仅能表示状态的特征分量,还能表示一些更复杂的函数,如多项式函数、傅里叶函数等。这个时候还是关于参数向量θ的线性函数,因此还是属于线性函数逼近的范畴。此时x(s)称为状态s的特征函数,或者称为基函数。

    参考来源

    - 位置:《强化学习》第07章《值函数逼近》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-016.xhtml#isbn9787302538295_7_1_2`) - 结论依据:原文区分原始状态分量与基函数,讨论多项式、傅里叶和径向基,并提示维数增长的成本。 - 原始内容:上述值函数表示虽然简单,但是忽略了不同维度特征之间的相互作用,如评估直升机飞行状态好坏的时候,需要同时考虑坐标和速度以及角速度等。因此需要对函数x(s)进行扩展,使其不仅能表示状态的特征分量,还能表示一些更复杂的函数,如多项式函数、傅里叶函数等。这个时候还是关于参数向量θ的线性函数,因此还是属于线性函数逼近的范畴。此时x(s)称为状态s的特征函数,或者称为基函数。