知识卡片
经验风险与代理损失
经验风险最小化(ERM)用训练集上的经验分布替代未知的真实分布 p_data,最小化平均训练损失,希望借此降低真实风险;但它容易让高容量模型记住训练集而过拟合,而且 0-1 损失没有有效导数,无法直接用梯度下降优化。代理损失函数用一个可高效优化、又能保留原任务信息的目标来替代,例如用正确类别的负对数似然替代 0-1 损失。负对数似然不仅给出类别概率,还会在 0-1 损失已经为零后继续拉开类别间距,提升分类器鲁棒性。配合提前终止(在验证集的真实损失上判断),训练并不追求代理损失的极小点。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 深度模型中的优化 · 查看原书依据
在这种情况下,我们通常会优化代理损失函数 (surrogate loss function)。代理损失函数作为原目标的代理,还具备一些优点。例如,正确类别的负对数似然通常用作0-1损失的替代。负对数似然允许模型估计给定样本的类别的条件概率,如果该模型效果好,那么它能够输出期望最小分类误差所对应的类别。
参考来源
- 位置:《深度学习》第8章 深度模型中的优化(源文件:extracted/深度学习/_epub-src/text/part0003.html)
- 结论依据:原文说明代理损失作为原目标的代理还具备优点,并以负对数似然替代 0-1 损失为例,指出它输出条件概率且能输出期望最小分类误差对应的类别。
- 原始内容:在这种情况下,我们通常会优化代理损失函数 (surrogate loss function)。代理损失函数作为原目标的代理,还具备一些优点。例如,正确类别的负对数似然通常用作0-1损失的替代。负对数似然允许模型估计给定样本的类别的条件概率,如果该模型效果好,那么它能够输出期望最小分类误差所对应的类别。