知识卡片
提升逐轮修正现有模型
Boosting 的成员不是彼此独立训练的。以 AdaBoost 为例,后续模型会更关注此前误分的观察记录。梯度提升把当前损失的负梯度作为新成员要拟合的信号。串行依赖有助于纠正已有误差,也让训练并行空间受限。
[[集成区分训练与聚合]]。提升方法采用依赖先前输出的串行训练。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 11.2.2 Boosting算法 · 查看原书依据
,第二个学习器才开始训练。与Bagging算法不同,Boosting算法的学习器使用全部训练集进行训练,但后面学习器的训练集会受前面预测结果的影响,对于前面学习器发生预测错误的数据,将在后面的训练中提高权值,而正确预测的数据则
参考来源
- 位置:《机器学习算法的数学解析与Python实现》11.2.2 Boosting算法(来源项目 book-source,`extracted/机器学习算法的数学解析与Python实现/_epub-src/OEBPS/text00120.html`)
- 结论依据:本节用前一轮误分类的权重更新说明串行训练。
- 原始内容:,第二个学习器才开始训练。与Bagging算法不同,Boosting算法的学习器使用全部训练集进行训练,但后面学习器的训练集会受前面预测结果的影响,对于前面学习器发生预测错误的数据,将在后面的训练中提高权值,而正确预测的数据则