返回主题:神经网络基础单元与训练

此卡片不在当前主题的阅读序列中,可返回主题继续阅读。

知识卡片

普通读书笔记卡 · 3788.k

损失函数规定错误的计量方式

理解等级:中级

损失函数把预测与目标之间的差异变成可优化的数。Y 为真实值,f(x) 为预测:

损失 公式 演示
0–1 预测错为 1,对为 0 只问对错
平方 [Y−f(x)]² Y=3、预测 1:4
绝对 |Y−f(x)| Y=3、预测 1:2
对数 −log P(Y|X) 真实类概率 0.9:约 0.11;0.1:约 2.30

平方损失放大大残差;绝对损失按偏差幅度线性计;对数损失按模型给真实类别的概率计,越不自信惩罚越重。选损失前应明确任务输出和代价含义,再看它是否便于优化。训练损失低只说明拟合训练数据,不能单独证明未知样本上的效果。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 1 9 . 2 神 经 网 络 算 法 实 现 · 查看原书依据

      0-1损失函数(0-1 loss function): 平方损失函数(quadratic loss function): 绝对损失函数(absolute loss function): 对数损失函数(logarithmic loss function)或对数似然损失函数(log-likelihod loss function): 从损失函数的上述说明易知,损失函数衡量了一个样本的预测与实际值之间的差异。一般通过叠加方式衡量整个集合的预测能力: 其中,N对应的是样本的数目;R(f)又可以称为代价函数,或是经验风险。

    参考来源

    - 位置:《智能算法导论》第 181 项《1 9 . 2 神 经 网 络 算 法 实 现/梯度下降法》(源文件:`_epub-src/EPUB/xhtml/chapter19_0004.xhtml`) - 结论依据:正文与式(19-16)至(19-19)逐项列出 0–1、平方、绝对和对数损失,并在后文区分经验风险与未知样本预测能力。表中演示数值(对数按自然对数)为依据四式补充的教学演算,非书中数据。 - 原始内容:损失函数代表的是预测和真实值之间的差异程度……常见的损失函数有如下几种。0-1损失函数……平方损失函数……绝对损失函数……对数损失函数……损失函数衡量了一个样本的预测与实际值之间的差异。