知识卡片
参数化逼近与监督学习
函数逼近分参数化与非参数化,本章聚焦参数化:用一组参数θ表示值函数,结构固定后逼近值函数就等价于逼近参数。把表格型更新公式推广后,值函数更新变成一个监督学习过程——数据来自试验,标签是各方法对应的目标值(蒙特卡罗回报、TD目标等),训练目标是最小化估计值与目标值的误差。关键区别在于:表格型只改当前状态的值,而参数更新会改变所有状态处的估计值,一步更新产生全局影响。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第6章 基于值函数逼近的强化学习方法 · 查看原书依据
在表格型强化学习中,值函数对应着一张表。在值函数逼近方法中,值函数对应着一个逼近函数 。从数学角度来看,函数逼近方法可以分为参数逼近和非参数逼近,因此强化学习值函数估计可以分为参数化逼近和非参数化逼近。其中参数化逼近又分为线性参数化逼近和非线性化参数逼近。
参考来源
- 位置:《深入浅出强化学习:原理入门》第6章 基于值函数逼近的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00015.html)
- 结论依据:正文明确将函数逼近过程定义为监督学习,并对比了表格型与逼近型更新时只改当前状态与改参数影响全部状态的异同。
- 原始内容:在表格型强化学习中,值函数对应着一张表。在值函数逼近方法中,值函数对应着一个逼近函数 。从数学角度来看,函数逼近方法可以分为参数逼近和非参数逼近,因此强化学习值函数估计可以分为参数化逼近和非参数化逼近。其中参数化逼近又分为线性参数化逼近和非线性化参数逼近。