知识卡片
交叉熵为何等价对数似然
语言模型每一步输出一个 |V| 维的 softmax 分布,标签是 one-hot 向量:只有真实词那一位是 1,其余全 0。交叉熵是 −Σ y·log ŷ,把 one-hot 代进去,只有真实词那一项存活,式子退化成 −log ŷ(j),j 是真实词的下标——这正好是负对数似然。所以最小化交叉熵就是在最大化模型给真实词的概率,两种写法只是同一件事的两种叙述。
这个等价有前提:标签必须是 one-hot 这种硬标签。一旦换成软标签或加标签平滑,交叉熵就不再等于似然,而是与标签分布的整体形状有关。另一个要点是输出层必须配 softmax:如果用平方损失配 softmax,梯度里会多出 softmax 的导数项,预测错得离谱时梯度反而被压小,收敛很慢,这也是分类与生成任务普遍用交叉熵的原因。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第3章 让机器可以像人一样学习(下) · 查看原书依据
在RNN模型的应用中,一般使用交叉熵作为损失函数。 其中,y是真实词,是预测词,|V|表示词汇大小,一般是一个softmax函数。对于文本来说,y一般都是|V|维的one hot向量([0,0,1,0,…]),这时候交叉熵损失函数其实就等价于对数似然函数
参考来源
- 位置:《文本上的算法——深入浅出自然语言处理》第3章 让机器可以像人一样学习(下)(源文件:extracted/文本上的算法——深入浅出自然语言处理/_epub-src/OEBPS/Text/00009.html)
- 结论依据:原文这一段直接给出本卡的核心判断:「在RNN模型的应用中,一般使用交叉熵作为损失函数。 其中,y是真实词,是预测词,……」
- 原始内容:在RNN模型的应用中,一般使用交叉熵作为损失函数。 其中,y是真实词,是预测词,|V|表示词汇大小,一般是一个softmax函数。对于文本来说,y一般都是|V|维的one hot向量([0,0,1,0,…]),这时候交叉熵损失函数其实就等价于对数似然函数