← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9889.a · 生成模型:Hunyuan

经验风险与代理损失

理解等级:中级

经验风险最小化(ERM)用训练集上的经验分布替代未知的真实分布 p_data,最小化平均训练损失,希望借此降低真实风险;但它容易让高容量模型记住训练集而过拟合,而且 0-1 损失没有有效导数,无法直接用梯度下降优化。代理损失函数用一个可高效优化、又能保留原任务信息的目标来替代,例如用正确类别的负对数似然替代 0-1 损失。负对数似然不仅给出类别概率,还会在 0-1 损失已经为零后继续拉开类别间距,提升分类器鲁棒性。配合提前终止(在验证集的真实损失上判断),训练并不追求代理损失的极小点。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第8章 深度模型中的优化 · 查看原书依据

      在这种情况下,我们通常会优化代理损失函数 (surrogate loss function)。代理损失函数作为原目标的代理,还具备一些优点。例如,正确类别的负对数似然通常用作0-1损失的替代。负对数似然允许模型估计给定样本的类别的条件概率,如果该模型效果好,那么它能够输出期望最小分类误差所对应的类别。

    参考来源

    - 位置:《深度学习》第8章 深度模型中的优化(源文件:extracted/深度学习/_epub-src/text/part0003.html) - 结论依据:原文说明代理损失作为原目标的代理还具备优点,并以负对数似然替代 0-1 损失为例,指出它输出条件概率且能输出期望最小分类误差对应的类别。 - 原始内容:在这种情况下,我们通常会优化代理损失函数 (surrogate loss function)。代理损失函数作为原目标的代理,还具备一些优点。例如,正确类别的负对数似然通常用作0-1损失的替代。负对数似然允许模型估计给定样本的类别的条件概率,如果该模型效果好,那么它能够输出期望最小分类误差所对应的类别。