知识卡片
泛化误差与独立同分布假设
泛化指模型在从未见过的输入上仍能表现良好的能力,这是区分机器学习与单纯优化的关键:优化只求降低训练误差,机器学习还要求泛化误差(新输入上的误差期望)也低。要从有限的训练集推断测试集表现,须依赖独立同分布假设——样本彼此独立,且训练与测试采样自同一个数据生成分布p_data。在这一假设下,固定参数的模型其训练误差期望等于测试误差期望;但算法是先采样训练集再据此挑参数,于是测试误差期望会大于等于训练误差期望。因此学习算法的两大任务是降低训练误差、并缩小训练与测试误差的差距。若数据任意收集、无分布假设,则几乎无法对泛化做任何保证。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 机器学习基础 · 查看原书依据
训练集和测试集数据通过数据集上被称为数据生成过程 (data generating process)的概率分布生成。通常,我们会做一系列被统称为独立同分布假设 (i.i.d.assumption)的假设。
参考来源
- 位置:《深度学习》第5章 机器学习基础(源文件:extracted/深度学习/_epub-src/text/part0001_split_001.html)
- 结论依据:原文先定义泛化与训练/测试误差,再引入数据生成过程与i.i.d.假设,并据此推导固定参数下两种误差期望相等、而学习流程中测试误差更大的结论。
- 原始内容:训练集和测试集数据通过数据集上被称为数据生成过程 (data generating process)的概率分布生成。通常,我们会做一系列被统称为独立同分布假设 (i.i.d.assumption)的假设。