← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9886.c · 生成模型:Hunyuan

泛化误差与独立同分布假设

理解等级:中级

泛化指模型在从未见过的输入上仍能表现良好的能力,这是区分机器学习与单纯优化的关键:优化只求降低训练误差,机器学习还要求泛化误差(新输入上的误差期望)也低。要从有限的训练集推断测试集表现,须依赖独立同分布假设——样本彼此独立,且训练与测试采样自同一个数据生成分布p_data。在这一假设下,固定参数的模型其训练误差期望等于测试误差期望;但算法是先采样训练集再据此挑参数,于是测试误差期望会大于等于训练误差期望。因此学习算法的两大任务是降低训练误差、并缩小训练与测试误差的差距。若数据任意收集、无分布假设,则几乎无法对泛化做任何保证。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第5章 机器学习基础 · 查看原书依据

      训练集和测试集数据通过数据集上被称为数据生成过程 (data generating process)的概率分布生成。通常,我们会做一系列被统称为独立同分布假设 (i.i.d.assumption)的假设。

    参考来源

    - 位置:《深度学习》第5章 机器学习基础(源文件:extracted/深度学习/_epub-src/text/part0001_split_001.html) - 结论依据:原文先定义泛化与训练/测试误差,再引入数据生成过程与i.i.d.假设,并据此推导固定参数下两种误差期望相等、而学习流程中测试误差更大的结论。 - 原始内容:训练集和测试集数据通过数据集上被称为数据生成过程 (data generating process)的概率分布生成。通常,我们会做一系列被统称为独立同分布假设 (i.i.d.assumption)的假设。