← 返回刚才阅读的位置

知识卡片

结构图卡 · 9822.f · 生成模型:DeepSeek-V4.1-Flash

强化学习:试错中趋利避害

理解等级:中级

强化学习又称再励学习、评价学习,源于动物学习与参数扰动自适应控制。它把学习过程看作”试探—评价”的循环,没有标准答案,只有环境延迟给出的奖励。

循环是:机器先选一个初始动作作用于环境;环境收到动作后状态变化,同时产生强化信号(奖赏或惩罚)反馈;机器结合信号与当前状态选择下一个动作,原则是让获得正强化的概率增大。长期跑下去,机器会摸出哪类行为回报最大,形成自己的一套应对模式。

与有监督学习的差别在于监督信号的形态:监督学习每个样本都有即时、正确的答案;强化学习只有与环境交互后的延迟评价,且当前动作会影响后续能见到的状态,因此必须在”探索新动作”和”利用已知好动作”之间权衡。这也是它的主要难点——只利用会停在次优策略,只探索则永远在试错。

典型应用是智能控制机器人与分析预测,围棋中击败世界冠军的 AlphaGo 就运用了强化学习。理解它也有助于看清前两类范式的边界:[[有监督学习:从答案学映射]] 要求标签,[[聚类:无标签下划簇]] 要求数据静止,而强化学习两者都不要求。

结构图:

flowchart LR
  A[机器] -->|选择动作| B[环境]
  B -->|状态改变| C[新状态]
  B -->|奖赏或惩罚| D[强化信号]
  C --> E[下一个动作]
  D --> E
  E -->|趋利避害| A
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第1章 机器学习概述 1.2 机器学习分类 · 查看原书依据

      机器先选择一个初始动作作用于环境,环境接收到该动作后状态发生变化,同时产生一个强化信号(奖赏或惩罚)反馈给机器,机器再根据强化信号和环境当前状态选择下一个动作,选择的原则是使受到正强化(奖赏)的概率增大。

    参考来源

    - 位置:《机器学习基础:从入门到求职》第1章《第1章 机器学习概述》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00004.html) - 结论依据:原文描述动作—环境—强化信号—下一动作的闭环,并指明选择原则与 AlphaGo 等应用。 - 原始内容:机器先选择一个初始动作作用于环境,环境接收到该动作后状态发生变化,同时产生一个强化信号(奖赏或惩罚)反馈给机器,机器再根据强化信号和环境当前状态选择下一个动作,选择的原则是使受到正强化(奖赏)的概率增大。