知识卡片
负对数似然:多分类的损失函数
学习最优参数等价于最小化损失函数;多分类逻辑回归最常用负对数似然(NLL),它等同于最大化数据集的概率。实现上,p_y_given_x的第i行第y_i列就是第i个样本真实类别的概率,NLL取这些概率的对数、求均值再加负号,得到小批量上的平均代价;取对数把连乘变连加,避免概率连乘下溢。另一个函数errors用T.neq比较预测与真实标签、再求均值得到误差率,并先检查两者维度与类型一致。训练时cost由NLL给出,分类监控则看误差率,二者分工明确。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第10章 认知计算与深度学习 · 查看原书依据
学习最优模型参数包括最小化损失函数。在多类别的逻辑回归的情况下,使用的负对数似然作为损失是非常普遍的,这等同于最大化数据集合D的概率。
参考来源
- 位置:《机器学习算法原理与编程实践》第10章 认知计算与深度学习(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00034.html)
- 结论依据:原文把NLL与最大化数据概率等同,并逐行解释log矩阵取真实类、求均值作为批代价,以及用neq均值算误差率并校验类型。
- 原始内容:学习最优模型参数包括最小化损失函数。在多类别的逻辑回归的情况下,使用的负对数似然作为损失是非常普遍的,这等同于最大化数据集合D的概率。