← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9869.h · 生成模型:Hunyuan

概率学基础

理解等级:中级

要读懂策略公式 π(a|s) 必须先掌握几个概率概念。随机变量是能随机取不同值的量(此处即当前动作,可取玩、退出、学习、发表、睡觉),可分离散与连续;概率分布描述它取每个值的可能性,离散用概率质量函数、连续用概率密度函数。条件概率 π(a|s) 指在当前处于状态 s 这一条件下采取动作 a 的概率。给定策略后,累积回报 G 也是随机变量,其分布由 π 决定;期望 E[x]=Σ_x x p(x)(离散)或 ∫x p(x)dx(连续),是加权平均且满足线性 E[aX+bY]=aE[X]+bE[Y],状态值函数正是 G 的期望。方差 Var(x)=E[(x-E[x])²] 衡量采样值偏离均值的程度,方差越小不确定性越小,标准差是其平方根。小演算:x 取 1、3 概率各 0.5 时 E[x]=2,Var=0.5(1-2)²+0.5(3-2)²=1。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第2章 马尔科夫决策过程 · 查看原书依据

      随机变量是指可以随机地取不同值的变量,常用小写字母表示。在MDP中随机变量指的是当前的动作,用字母 表示。在图2.3的例子中,随机变量 可取的值为“玩”、“退出”、“学习”、“发表”和“睡觉”。随机变量可以是离散的也可以是非离散的,在该例子中随机变量是离散的。

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第2章 马尔科夫决策过程(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00010.html) - 结论依据:原文依次解释随机变量、概率分布、条件概率、期望与方差,并说明状态值函数定义为累积回报的期望。 - 原始内容:随机变量是指可以随机地取不同值的变量,常用小写字母表示。在MDP中随机变量指的是当前的动作,用字母 表示。在图2.3的例子中,随机变量 可取的值为“玩”、“退出”、“学习”、“发表”和“睡觉”。随机变量可以是离散的也可以是非离散的,在该例子中随机变量是离散的。