知识卡片
最大似然与KL散度
最大似然估计给出“估计从何而来”的准则:选择使观测数据出现概率最大的参数θ,即最大化似然。因概率连乘易数值下溢且不便计算,通常取对数把乘积化为求和,再除以样本数写成经验分布上的期望。关键洞察是:最大化似然等价于最小化经验分布与模型分布之间的KL散度(也等价于最小化交叉熵);KL散度第一项只与数据生成过程有关、与模型无关,故优化时只需处理交叉熵。最小化KL散度之所以可取,是因为其最小值为零,对应模型分布与经验分布完全匹配。均方误差也可视为经验分布与高斯模型之间的交叉熵,说明许多常见损失都属此框架。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 机器学习基础 · 查看原书依据
一种解释最大似然估计的观点是将它看作最小化训练集上的经验分布ˆp data 和模型分布之间的差异,两者之间的差异程度可以通过KL散度度量。
参考来源
- 位置:《深度学习》第5章 机器学习基础(源文件:extracted/深度学习/_epub-src/text/part0001_split_001.html)
- 结论依据:原文从似然的对数化讲到用KL散度解释最大似然,并指出最小化KL散度等于最小化交叉熵、MSE是高斯模型下的交叉熵。
- 原始内容:一种解释最大似然估计的观点是将它看作最小化训练集上的经验分布ˆp data 和模型分布之间的差异,两者之间的差异程度可以通过KL散度度量。