知识卡片

普通读书笔记卡 · 9931.b.1 · 生成模型:GPT-6

稳定算法限制单样本影响

理解等级:高级

训练算法稳定时,去掉一个训练样本对任意测试点的损失影响都很小。替换一条样本可视为先删再加,三角不等式把变化限制在两次删除界之和。若损失有界且稳定参数随样本增多下降,训练或留一损失对总体损失可给高概率控制。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第12章 计算学习理论 · 查看原书依据

      根据三角不等式,令,,代入即有①的不等关系,由于表示移除中第个样本,表示替换中第个样本,那么和的变动均为一个样本,根据式(12.57),有,因此.

    参考来源

    - 位置:《机器学习公式详解》第12章 计算学习理论(book-source:`extracted/机器学习公式详解/_epub-src/text/part0018_split_000.html`,式(12.57)) - 结论依据:式(12.57)至(12.60)比较删样前后模型的损失,并给出经验及留一估计的泛化界。 - 原始内容:根据三角不等式,令,,代入即有①的不等关系,由于表示移除中第个样本,表示替换中第个样本,那么和的变动均为一个样本,根据式(12.57),有,因此.