知识卡片
Q表的局限
Q-learning 用 Q 表记录每个状态下每个动作的期望奖励,运行时只要找到当前状态所在的行,选期望最大的动作即可,在迷宫这类小状态空间里简单有效。但状态和动作的数量一多,Q 表的查询和维护就会变得很慢,于是 DQN 改用神经网络等近似函数来估算值函数。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《分布式人工智能:基于TensorFlow、RTOS与群体智能体系》第7章《生成网络和强化学习》(源文件:_epub-src/OEBPS/Text/chapter7-5.xhtml、_epub-src/OEBPS/Text/chapter7-7-1.xhtml)
- 结论依据:原文说明Q-table是Q-learning策略表格的数据结构,记录每个状态下各动作的期望奖励,运行时只需查找当前状态格子取最大期望;但当State和Action数量太多时查询会很慢,DQN改用近似函数估算值函数。
- 原始内容:Q-table记录了所有环境下每个状态的动作期望,那么在实际的运行环境中,我们只需搜索当前状态所在的格子,获得最大的期望状态即可。……但是当State和Action的数量太多时,查询就会很慢,这个时候可以使用近似函数进行估算