知识卡片
最大似然自动给出代价函数
大多数神经网络用最大似然训练:先定义条件分布 p(y|x;θ),代价就是负对数似然,等价于训练数据与模型分布之间的交叉熵。这样明确一个模型就自动确定了代价函数,不必为每个模型单独设计损失;若输出用于预测高斯均值,负对数似然就退化为均方误差。一个关键好处是梯度信号:负对数中的 log 能抵消输出单元里的 exp,缓解 sigmoid、softmax 的饱和,使梯度足够大且有指引性。贯穿网络设计的一个反复主题正是代价函数的梯度必须足够大、足够可预测,而饱和(变平)的函数会把梯度压得极小。边界:对离散或实值输出,交叉熵常常没有有限最小值,需要正则化防止模型把概率推向极端。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第6章 深度前馈网络 · 查看原书依据
使用最大似然来导出代价函数的方法的一个优势是,它减轻了为每个模型设计代价函数的负担。明确一个模型p ( y | x )则自动地确定了一个代价函数logp ( y | x )。
参考来源
- 位置:《深度学习》第6章 深度前馈网络(源文件:extracted/深度学习/_epub-src/text/part0002.html)
- 结论依据:原文说明最大似然自动给出交叉熵并减轻设计负担,指出梯度需足够大且有预测性、负对数似然可消除指数饱和,以及交叉熵常无最小值。
- 原始内容:使用最大似然来导出代价函数的方法的一个优势是,它减轻了为每个模型设计代价函数的负担。明确一个模型p ( y | x )则自动地确定了一个代价函数logp ( y | x )。