← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 3788.k.1

经验风险低不保证泛化

理解等级:高级

三个风险的区别:

  • 经验风险:训练样本损失的平均值,(1/N)·ΣL(yᵢ, f(xᵢ)),N 为样本数,能直接算。
  • 期望风险:损失在数据真实分布 P(x,y) 上的平均,代表对所有可能样本的表现;分布未知,通常无法精确计算。
  • 结构风险:经验风险 + λ·J(f),J(f) 衡量模型复杂度,λ>0 调节拟合与约束的权衡。

只压低经验风险可能过拟合:模型连训练集里的偶然特征也记住了,训练集上很好、新样本上很差。结构风险用复杂度惩罚压制这种倾向。正则化也不是泛化保证,惩罚项、数据分布与验证方案都要匹配问题;测试集应用来评估,不能被定义成训练所能直接最小化的总体期望。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 1 9 . 2 神 经 网 络 算 法 实 现 · 查看原书依据

      经验风险越小则表明该模型对数据集训练样本的拟合程度越好,但对于未知的测试样本的预测能力如何则未知,故又引入了一个期望风险: 经验风险是局部的表示决策函数对训练样本的预测能力,期望风险表示的是全局,是对全部包括训练样本和测试样本的整体训练集的预测能力。

    参考来源

    - 位置:《智能算法导论》第 181 项《1 9 . 2 神 经 网 络 算 法 实 现/梯度下降法》(源文件:`_epub-src/EPUB/xhtml/chapter19_0004.xhtml`) - 结论依据:式(19-20)至(19-22)分别写出经验风险、分布期望风险和正则化结构风险,正文指出训练拟合与未知样本预测不同。原书把测试集混入期望风险的措辞易误导,卡片按目标分布解释。 - 原始内容:经验风险越小则表明该模型对数据集训练样本的拟合程度越好,但对于未知的测试样本的预测能力如何则未知……在经验风险函数后再增加一个正则化,构成结构风险,正则化也就是惩罚项。