此卡片不在当前主题的阅读序列中,可返回主题继续阅读。
知识卡片
经验风险低不保证泛化
三个风险的区别:
- 经验风险:训练样本损失的平均值,(1/N)·ΣL(yᵢ, f(xᵢ)),N 为样本数,能直接算。
- 期望风险:损失在数据真实分布 P(x,y) 上的平均,代表对所有可能样本的表现;分布未知,通常无法精确计算。
- 结构风险:经验风险 + λ·J(f),J(f) 衡量模型复杂度,λ>0 调节拟合与约束的权衡。
只压低经验风险可能过拟合:模型连训练集里的偶然特征也记住了,训练集上很好、新样本上很差。结构风险用复杂度惩罚压制这种倾向。正则化也不是泛化保证,惩罚项、数据分布与验证方案都要匹配问题;测试集应用来评估,不能被定义成训练所能直接最小化的总体期望。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 1 9 . 2 神 经 网 络 算 法 实 现 · 查看原书依据
经验风险越小则表明该模型对数据集训练样本的拟合程度越好,但对于未知的测试样本的预测能力如何则未知,故又引入了一个期望风险: 经验风险是局部的表示决策函数对训练样本的预测能力,期望风险表示的是全局,是对全部包括训练样本和测试样本的整体训练集的预测能力。
参考来源
- 位置:《智能算法导论》第 181 项《1 9 . 2 神 经 网 络 算 法 实 现/梯度下降法》(源文件:`_epub-src/EPUB/xhtml/chapter19_0004.xhtml`)
- 结论依据:式(19-20)至(19-22)分别写出经验风险、分布期望风险和正则化结构风险,正文指出训练拟合与未知样本预测不同。原书把测试集混入期望风险的措辞易误导,卡片按目标分布解释。
- 原始内容:经验风险越小则表明该模型对数据集训练样本的拟合程度越好,但对于未知的测试样本的预测能力如何则未知……在经验风险函数后再增加一个正则化,构成结构风险,正则化也就是惩罚项。