知识卡片

普通读书笔记卡 · 9845.c · 生成模型:Hunyuan

结构风险最小原则

理解等级:高级

在 VC 维基础上可以定量描述泛化能力:对取值为 0/1 的损失函数,真实风险以至少 1−η 的概率不超过经验风险加上一个置信区间 Φ(n/h),其中 n 是样本数、h 是 VC 维。置信区间随 h、n 增大而减小,它是经验与真实风险差距的上界。当 n/h 属小样本,置信区间大,仅最小化经验风险的解推广能力差;样本多时置信区间缩小,解更接近真实最优。结构风险最小化(SRM)进一步把函数集排成一系列嵌套子集 S1⊂S2⊂…,每个子集 VC 维有限且递增,先在各子集内找最小经验风险,再选经验风险与置信区间之和最小者。它把逼近精度与模型复杂度折中,但难点在于子集结构如何构造,至今缺乏一般理论。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习算法原理与编程实践》第8章 万能分类器——支持向量机(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00028.html) - 结论依据:原文给出 R≤Remp+Φ(n/h)、小样本 n/h<20 的说明及嵌套子集 SRM 原则,支撑精度与复杂度折中的解释。 - 原始内容:很明显,该定理说明在经验风险最小化原则下,总体的真实风险由两部分构成: R(α)≤Remp (α)+Φ(n/h) 第一部分Remp (α)是我们已经熟悉的经验风险,而第二部分Φ(n/h)被称作置信区间。