知识卡片

结构图卡 · 9868.b · 生成模型:Hunyuan

智能体环境交互框架

理解等级:中级

强化学习解决问题的基本框架是智能体与环境的持续交互闭环。每一时刻,智能体观察环境当前状态并选一个动作施加给环境;环境据此转移到新状态,并返回一个标量回报,用来评价这个动作对实现目标是否有利。智能体依据回报调整行为:有利于目标的动作被保留和加强,不利的动作被衰减。通过一次次“状态—动作—回报—更新”的循环,智能体逐渐学到在当前状态下该采取什么动作才能使整体序列最优。该框架揭示了强化学习数据的来源是交互数据,也说明回报信号是驱动学习的唯一监督来源;若回报设计不当,学习方向就会偏离目标。参见[[序贯决策问题]]与[[强化学习与监督学习之别]]。

结构图:

flowchart LR
    AG[智能体 Agent] -->|动作 a| EN[环境 Environment]
    EN -->|新状态 s'| AG
    EN -->|回报 r| AG
    AG -->|保留或衰减动作| AG
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第1章 绪论 · 查看原书依据

      智能体通过动作与环境进行交互时,环境会返给智能体一个当前的回报,智能体则根据当前的回报评估所采取的动作:有利于实现目标的动作被保留,不利于实现目标的动作被衰减。

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第1章 绪论(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00008.html) - 结论依据:正文以图1.3描述强化学习基本框架,明确指出智能体通过动作与环境交互、环境返回回报、智能体据此保留有利动作并衰减不利动作的机制。 - 原始内容:智能体通过动作与环境进行交互时,环境会返给智能体一个当前的回报,智能体则根据当前的回报评估所采取的动作:有利于实现目标的动作被保留,不利于实现目标的动作被衰减。