知识卡片
熵、交叉熵与KL散度
信息论用概率与统计研究信息、熵和通信,香农在1948年《A Mathematical Theory of Communication》中定义熵 H(X)=−Σ p(x)log p(x),它衡量不确定性:二值分布中 p=0.5 时最不确定、熵最大,p=0 或 1 时为确定事件、熵为 0。交叉熵 H(p,q)=−Σ p(x)log q(x) 衡量用不完美编码方案 q 对真实分布 p 编码的平均码长,因真实分布固定时最小化交叉熵等价于最小化KL散度,故常作机器学习损失函数。KL散度 D_KL(p||q)=Σ p(x)log[p(x)/q(x)] 才真正衡量两分布差异:它非负且仅当 p=q 时为零,但不对称,所以不是真正的距离。在TRPO里,它正是度量新旧策略分布差异、构造置信域的核心工具。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 基于置信域策略优化的强化学习方法 · 查看原书依据
KL 散度的一个重要性质是非负性,而且,当且仅当两个概率分布处处相等时,取到零。因此,KL 散度常用来衡量两个分布之间的距离。但 KL 散度与一般距离不同,它一般不具有对称性
参考来源
- 位置:《深入浅出强化学习:原理入门》第8章 基于置信域策略优化的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00018.html)
- 结论依据:正文介绍香农熵与二值熵最大最小的例子、交叉熵作损失函数的原因,并指出KL散度具有非负性、取零条件与不对称性,且频繁出现在强化学习的求解过程中。
- 原始内容:KL 散度的一个重要性质是非负性,而且,当且仅当两个概率分布处处相等时,取到零。因此,KL 散度常用来衡量两个分布之间的距离。但 KL 散度与一般距离不同,它一般不具有对称性