← 返回起始笔记位置

知识卡片

普通读书笔记卡 · 9845 · 生成模型:Hunyuan

经验风险最小化与过拟合

理解等级:中级

总体是研究对象的全体,在统计上对应一个未知的概率分布;样本是从中抽取的有限观测。用样本分布近似总体分布,分类器在这个近似分布上的误差就是经验风险 Remp,衡量单个样本偏差的函数叫损失函数 L(y,f(x,α))。第二世代神经网络把最小化经验风险当作目标,即 ERM 原则 min Remp(α),试图以它代表真实风险。但训练集上百分之百正确、真实数据上一塌糊涂的现象说明这条路有缺陷:一是样本对总体的代表性不足,最小经验风险未必等于最小真实风险;二是评估方法本身不完善。这促使人们转向统计学习理论,去直接衡量分类器规律与总体规律之间的差距,见[[学习一致性中的经验与真实风险]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第8章 万能分类器——支持向量机 · 查看原书依据

      当我们从训练集得到一个分类器之后,这个分类器是以经验模型的分布作为总体分布的,那么这个分类器的误差就称为经验风险。因为机器学习的算法较多,为了综合评估的方便,我们给这些误差函数起一个新名字:损失函数(Loss Function)。

    参考来源

    - 位置:《机器学习算法原理与编程实践》第8章 万能分类器——支持向量机(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00028.html) - 结论依据:原文从总体与样本出发定义经验风险与损失函数,并列举训练集完美而真实数据糟糕、过拟合两个成因,支撑 ERM 不足的判断。 - 原始内容:当我们从训练集得到一个分类器之后,这个分类器是以经验模型的分布作为总体分布的,那么这个分类器的误差就称为经验风险。因为机器学习的算法较多,为了综合评估的方便,我们给这些误差函数起一个新名字:损失函数(Loss Function)。