知识卡片
稳定算法限制单样本影响
训练算法稳定时,去掉一个训练样本对任意测试点的损失影响都很小。替换一条样本可视为先删再加,三角不等式把变化限制在两次删除界之和。若损失有界且稳定参数随样本增多下降,训练或留一损失对总体损失可给高概率控制。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第12章 计算学习理论 · 查看原书依据
根据三角不等式,令,,代入即有①的不等关系,由于表示移除中第个样本,表示替换中第个样本,那么和的变动均为一个样本,根据式(12.57),有,因此.
参考来源
- 位置:《机器学习公式详解》第12章 计算学习理论(book-source:`extracted/机器学习公式详解/_epub-src/text/part0018_split_000.html`,式(12.57))
- 结论依据:式(12.57)至(12.60)比较删样前后模型的损失,并给出经验及留一估计的泛化界。
- 原始内容:根据三角不等式,令,,代入即有①的不等关系,由于表示移除中第个样本,表示替换中第个样本,那么和的变动均为一个样本,根据式(12.57),有,因此.