知识卡片
损失函数规定错误的计量方式
损失函数把预测与目标之间的差异变成可优化的数。Y 为真实值,f(x) 为预测:
| 损失 | 公式 | 演示 |
|---|---|---|
| 0–1 | 预测错为 1,对为 0 | 只问对错 |
| 平方 | [Y−f(x)]² | Y=3、预测 1:4 |
| 绝对 | |Y−f(x)| | Y=3、预测 1:2 |
| 对数 | −log P(Y|X) | 真实类概率 0.9:约 0.11;0.1:约 2.30 |
平方损失放大大残差;绝对损失按偏差幅度线性计;对数损失按模型给真实类别的概率计,越不自信惩罚越重。选损失前应明确任务输出和代价含义,再看它是否便于优化。训练损失低只说明拟合训练数据,不能单独证明未知样本上的效果。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 1 9 . 2 神 经 网 络 算 法 实 现 · 查看原书依据
0-1损失函数(0-1 loss function): 平方损失函数(quadratic loss function): 绝对损失函数(absolute loss function): 对数损失函数(logarithmic loss function)或对数似然损失函数(log-likelihod loss function): 从损失函数的上述说明易知,损失函数衡量了一个样本的预测与实际值之间的差异。一般通过叠加方式衡量整个集合的预测能力: 其中,N对应的是样本的数目;R(f)又可以称为代价函数,或是经验风险。
参考来源
- 位置:《智能算法导论》第 181 项《1 9 . 2 神 经 网 络 算 法 实 现/梯度下降法》(源文件:`_epub-src/EPUB/xhtml/chapter19_0004.xhtml`)
- 结论依据:正文与式(19-16)至(19-19)逐项列出 0–1、平方、绝对和对数损失,并在后文区分经验风险与未知样本预测能力。表中演示数值(对数按自然对数)为依据四式补充的教学演算,非书中数据。
- 原始内容:损失函数代表的是预测和真实值之间的差异程度……常见的损失函数有如下几种。0-1损失函数……平方损失函数……绝对损失函数……对数损失函数……损失函数衡量了一个样本的预测与实际值之间的差异。