知识卡片
模型平均与Bagging
Bagging(bootstrap aggregating)分别训练多个模型并让它们对测试输出表决,是模型平均这一集成策略的实例。模型平均有效是因为不同模型在测试集上的误差不完全相同:误差完全相关时平均无益,误差独立时集成平方误差的期望随规模线性下降,因此集成至少不差于任一成员,独立时显著更好。Bagging用同一种模型和算法,构造多个有放回重采样的数据集——每个数据集约含原数据三分之二的实例、缺少部分样本并含重复——样本差异造就模型差异。神经网络因随机初始化、小批量、超参差异天然产生部分独立的误差,故能从平均中获益。但集成以增加计算和存储的代价换取泛化,竞赛常用几十个模型平均,而Boosting构建容量更高的集成,目的并非正则化。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第7章 深度学习中的正则化 · 查看原书依据
具体来说,Bagging涉及构造k个不同的数据集。每个数据集从原始数据集中重复采样构成,和原始数据集具有相同数量的样例。这意味着,每个数据集以高概率缺少一些来自原始数据集的例子,还包含若干重复的例子(如果所得训练集与原始数据集大小相同,那所得数据集中大概有原始数据集2/3的实例)。
参考来源
- 位置:《深度学习》第7章 深度学习中的正则化(源文件:extracted/深度学习/_epub-src/text/part0002.html)
- 结论依据:原文用误差协方差分析解释模型平均为何减小泛化误差,并描述Bagging的有放回重采样构造及其局限。
- 原始内容:具体来说,Bagging涉及构造k个不同的数据集。每个数据集从原始数据集中重复采样构成,和原始数据集具有相同数量的样例。这意味着,每个数据集以高概率缺少一些来自原始数据集的例子,还包含若干重复的例子(如果所得训练集与原始数据集大小相同,那所得数据集中大概有原始数据集2/3的实例)。