← 返回起始笔记位置

知识卡片

普通读书笔记卡 · 9847.g · 生成模型:Hunyuan

负对数似然:多分类的损失函数

理解等级:高级

学习最优参数等价于最小化损失函数;多分类逻辑回归最常用负对数似然(NLL),它等同于最大化数据集的概率。实现上,p_y_given_x的第i行第y_i列就是第i个样本真实类别的概率,NLL取这些概率的对数、求均值再加负号,得到小批量上的平均代价;取对数把连乘变连加,避免概率连乘下溢。另一个函数errors用T.neq比较预测与真实标签、再求均值得到误差率,并先检查两者维度与类型一致。训练时cost由NLL给出,分类监控则看误差率,二者分工明确。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习算法原理与编程实践》第10章 认知计算与深度学习(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00034.html) - 结论依据:原文把NLL与最大化数据概率等同,并逐行解释log矩阵取真实类、求均值作为批代价,以及用neq均值算误差率并校验类型。 - 原始内容:学习最优模型参数包括最小化损失函数。在多类别的逻辑回归的情况下,使用的负对数似然作为损失是非常普遍的,这等同于最大化数据集合D的概率。