← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9888.j · 生成模型:Hunyuan

模型平均与Bagging

理解等级:中级

Bagging(bootstrap aggregating)分别训练多个模型并让它们对测试输出表决,是模型平均这一集成策略的实例。模型平均有效是因为不同模型在测试集上的误差不完全相同:误差完全相关时平均无益,误差独立时集成平方误差的期望随规模线性下降,因此集成至少不差于任一成员,独立时显著更好。Bagging用同一种模型和算法,构造多个有放回重采样的数据集——每个数据集约含原数据三分之二的实例、缺少部分样本并含重复——样本差异造就模型差异。神经网络因随机初始化、小批量、超参差异天然产生部分独立的误差,故能从平均中获益。但集成以增加计算和存储的代价换取泛化,竞赛常用几十个模型平均,而Boosting构建容量更高的集成,目的并非正则化。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第7章 深度学习中的正则化 · 查看原书依据

      具体来说,Bagging涉及构造k个不同的数据集。每个数据集从原始数据集中重复采样构成,和原始数据集具有相同数量的样例。这意味着,每个数据集以高概率缺少一些来自原始数据集的例子,还包含若干重复的例子(如果所得训练集与原始数据集大小相同,那所得数据集中大概有原始数据集2/3的实例)。

    参考来源

    - 位置:《深度学习》第7章 深度学习中的正则化(源文件:extracted/深度学习/_epub-src/text/part0002.html) - 结论依据:原文用误差协方差分析解释模型平均为何减小泛化误差,并描述Bagging的有放回重采样构造及其局限。 - 原始内容:具体来说,Bagging涉及构造k个不同的数据集。每个数据集从原始数据集中重复采样构成,和原始数据集具有相同数量的样例。这意味着,每个数据集以高概率缺少一些来自原始数据集的例子,还包含若干重复的例子(如果所得训练集与原始数据集大小相同,那所得数据集中大概有原始数据集2/3的实例)。