知识卡片

结构图卡 · 9868.k · 生成模型:Hunyuan

本书两条主线与章节安排

理解等级:中级

全书围绕两条线索展开。算法主线从序贯决策的数学描述MDP出发:模型已知用动态规划与广义策略迭代,进而引出无模型的表格型方法(蒙特卡罗、时间差分),状态空间过大时用值函数逼近;另一大类是直接策略搜索(策略梯度、TRPO、确定性策略、引导策略搜索),再扩展到逆向强化学习与组合策略梯度、值迭代网络、PILCO等新算法。基础知识主线随算法需要穿插:概率与随机策略、线性方程组与压缩映射、统计采样、函数逼近与神经网络、信息论与优化、KL散度与变分推理。两线交织的安排提示:遇到相关数学可先读该节再回到算法,基础是为算法服务的。

结构图:

flowchart TD
    ROOT[强化学习] --> L1[线索一 基本算法]
    ROOT --> L2[线索二 基础知识]
    L1 --> MDP[第2章 MDP]
    L1 --> DP[第3章 动态规划]
    L1 --> MC[第4章 蒙特卡罗]
    L1 --> TD[第5章 时间差分]
    L1 --> FA[第6章 值函数逼近]
    L1 --> PG[第7章 策略梯度]
    L1 --> TRPO[第8章 TRPO]
    L1 --> DET[第9章 确定性策略]
    L1 --> GPS[第10章 引导策略搜索]
    L1 --> IRL[第11章 逆向强化学习]
    L2 --> P[概率与随机策略]
    L2 --> EQ[线性方程组与压缩映射]
    L2 --> S[统计采样]
    L2 --> NN[函数逼近与神经网络]
    L2 --> INFO[信息论与优化]
    L2 --> KL[KL散度与变分推理]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第1章 绪论 · 查看原书依据

      本书力求覆盖强化学习最基本的概念和算法,因此在写作过程中遵循了两条线索。第一条线索是强化学习的基本算法,第二条线索是强化学习算法所用到的基础知识。

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第1章 绪论(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00008.html) - 结论依据:正文明确本书遵循“基本算法”与“所用基础知识”两条线索,并逐章对应列出两者内容,最后建议按章顺序阅读、遇概念先读数学。 - 原始内容:本书力求覆盖强化学习最基本的概念和算法,因此在写作过程中遵循了两条线索。第一条线索是强化学习的基本算法,第二条线索是强化学习算法所用到的基础知识。