知识卡片
条件对数似然与MSE等价
监督学习最常见的形式是估计条件概率p(y|x),最大似然可自然扩展为条件最大似然:在样本独立同分布时,它分解为对每个样本的p(y⁽ⁱ⁾|x⁽ⁱ⁾; θ)求积再取对数。把线性回归改写为最大似然:令模型输出高斯分布的均值、方差固定为常数,则条件对数似然在形式上恰好是负的均方误差。于是最大化关于w的对数似然与最小化MSE得到完全相同的参数估计w——这为MSE作为目标函数提供了理论依据。但两种准则在最优w处取不同的函数值,说明它们只是给出同一点估计的不同代价函数,把“凭直觉设的误差函数”与“有原则的统计估计”统一起来。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 机器学习基础 · 查看原书依据
对比均方误差和对数似然, 我们立刻可以看出,最大化关于 w 的对数似然和最小化均方误差会得到相同的参数估计 w 。但是对于相同的最优 w ,这两个准则有着不同的值。这验证了MSE可以用于最大似然估计。
参考来源
- 位置:《深度学习》第5章 机器学习基础(源文件:extracted/深度学习/_epub-src/text/part0001_split_001.html)
- 结论依据:原文通过线性回归示例证明最大化条件对数似然与最小化均方误差给出相同的w,并指出两者取值不同、MSE因此可用于最大似然。
- 原始内容:对比均方误差和对数似然, 我们立刻可以看出,最大化关于 w 的对数似然和最小化均方误差会得到相同的参数估计 w 。但是对于相同的最优 w ,这两个准则有着不同的值。这验证了MSE可以用于最大似然估计。