知识卡片
结构风险最小原则
在 VC 维基础上可以定量描述泛化能力:对取值为 0/1 的损失函数,真实风险以至少 1−η 的概率不超过经验风险加上一个置信区间 Φ(n/h),其中 n 是样本数、h 是 VC 维。置信区间随 h、n 增大而减小,它是经验与真实风险差距的上界。当 n/h 属小样本,置信区间大,仅最小化经验风险的解推广能力差;样本多时置信区间缩小,解更接近真实最优。结构风险最小化(SRM)进一步把函数集排成一系列嵌套子集 S1⊂S2⊂…,每个子集 VC 维有限且递增,先在各子集内找最小经验风险,再选经验风险与置信区间之和最小者。它把逼近精度与模型复杂度折中,但难点在于子集结构如何构造,至今缺乏一般理论。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 万能分类器——支持向量机 · 查看原书依据
很明显,该定理说明在经验风险最小化原则下,总体的真实风险由两部分构成: R(α)≤Remp (α)+Φ(n/h) 第一部分Remp (α)是我们已经熟悉的经验风险,而第二部分Φ(n/h)被称作置信区间。
参考来源
- 位置:《机器学习算法原理与编程实践》第8章 万能分类器——支持向量机(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00028.html)
- 结论依据:原文给出 R≤Remp+Φ(n/h)、小样本 n/h<20 的说明及嵌套子集 SRM 原则,支撑精度与复杂度折中的解释。
- 原始内容:很明显,该定理说明在经验风险最小化原则下,总体的真实风险由两部分构成: R(α)≤Remp (α)+Φ(n/h) 第一部分Remp (α)是我们已经熟悉的经验风险,而第二部分Φ(n/h)被称作置信区间。