知识卡片
智能体环境交互框架
强化学习解决问题的基本框架是智能体与环境的持续交互闭环。每一时刻,智能体观察环境当前状态并选一个动作施加给环境;环境据此转移到新状态,并返回一个标量回报,用来评价这个动作对实现目标是否有利。智能体依据回报调整行为:有利于目标的动作被保留和加强,不利的动作被衰减。通过一次次“状态—动作—回报—更新”的循环,智能体逐渐学到在当前状态下该采取什么动作才能使整体序列最优。该框架揭示了强化学习数据的来源是交互数据,也说明回报信号是驱动学习的唯一监督来源;若回报设计不当,学习方向就会偏离目标。参见[[序贯决策问题]]与[[强化学习与监督学习之别]]。
结构图:
flowchart LR
AG[智能体 Agent] -->|动作 a| EN[环境 Environment]
EN -->|新状态 s'| AG
EN -->|回报 r| AG
AG -->|保留或衰减动作| AG
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第1章 绪论
原书出处 · 1 处
- 第1章 绪论 · 查看原书依据
智能体通过动作与环境进行交互时,环境会返给智能体一个当前的回报,智能体则根据当前的回报评估所采取的动作:有利于实现目标的动作被保留,不利于实现目标的动作被衰减。
参考来源
- 位置:《深入浅出强化学习:原理入门》第1章 绪论(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00008.html)
- 结论依据:正文以图1.3描述强化学习基本框架,明确指出智能体通过动作与环境交互、环境返回回报、智能体据此保留有利动作并衰减不利动作的机制。
- 原始内容:智能体通过动作与环境进行交互时,环境会返给智能体一个当前的回报,智能体则根据当前的回报评估所采取的动作:有利于实现目标的动作被保留,不利于实现目标的动作被衰减。