知识卡片
分类损失的两种常用形式
分类问题中因变量 Y∈{1,…,K},通常先拟合各类的条件概率 p_k(X)=Pr(Y=k|X),再把概率最大的类作为预测。两种损失最常用:一是 0—1 损失,预测错记 1、对记 0,其样本平均就是错分率,直观但不可微、不区分错误程度;二是负对数似然损失 −2log p_ĝ(x)(y),其右端又称离差(deviance),等于 −2 乘以对数似然函数。任何分布的负对数似然都可以当作损失函数使用,因此它把回归与分类统一到似然框架下;乘 2 只是一个常数约定,目的是让正态分布下的负对数似然损失与平方损失完全一致,两套误差才能互相比较。测试误差与训练误差的定义方式与回归问题相同,只是损失换成上述形式。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第4章 模型评价与选择 · 查看原书依据
任何分布的负对数似然函数都可以看成是损失函数。有时在前面乘以2,是为了使得正态分布的该种损失和平方损失相同。
参考来源
- 位置:《大数据挖掘与统计机器学习》第4章 模型评价与选择(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter6_0001.xhtml,4.1.1 各种误差的定义)
- 结论依据:原文列出 0—1 损失与负对数似然损失,并说明离差等于 −2 乘对数似然,乘 2 是为使正态分布下与平方损失一致。
- 原始内容:任何分布的负对数似然函数都可以看成是损失函数。有时在前面乘以2,是为了使得正态分布的该种损失和平方损失相同。