知识卡片

普通读书笔记卡 · 2796.b

Q表的局限

理解等级:未标注

Q-learning 用 Q 表记录每个状态下每个动作的期望奖励,运行时只要找到当前状态所在的行,选期望最大的动作即可,在迷宫这类小状态空间里简单有效。但状态和动作的数量一多,Q 表的查询和维护就会变得很慢,于是 DQN 改用神经网络等近似函数来估算值函数。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《分布式人工智能:基于TensorFlow、RTOS与群体智能体系》第7章《生成网络和强化学习》(源文件:_epub-src/OEBPS/Text/chapter7-5.xhtml、_epub-src/OEBPS/Text/chapter7-7-1.xhtml) - 结论依据:原文说明Q-table是Q-learning策略表格的数据结构,记录每个状态下各动作的期望奖励,运行时只需查找当前状态格子取最大期望;但当State和Action数量太多时查询会很慢,DQN改用近似函数估算值函数。 - 原始内容:Q-table记录了所有环境下每个状态的动作期望,那么在实际的运行环境中,我们只需搜索当前状态所在的格子,获得最大的期望状态即可。……但是当State和Action的数量太多时,查询就会很慢,这个时候可以使用近似函数进行估算