知识卡片
AdaBoost 的两套权重
AdaBoost 里同时存在两种”权重”,初学最容易混:
- 样本权重 D_k = (w_k1, w_k2, …, w_kM):描述”这一轮训练时每个样本有多重要”,每一轮都变,始终归一化为和为 1。
- 基学习器投票权重 α_k:描述”第 k 个基学习器在最终投票中有多少话语权”,每轮算出一个,训练结束后固定不变。
一轮迭代把两者交替更新一次:先用当前样本权重训练出 T_k,再用 T_k 的加权错误率算出 α_k,然后用 α_k 反过来改写样本权重,喂给下一轮。整个过程不需要改动基学习器的训练算法——每轮都是”全部训练样本 + 全部特征”,只是样本带着不同的权重进入。
四个问题构成完整的 AdaBoost,也是所有 Boosting 模型的共同骨架:
| 问题 | 本章的答案 |
|---|---|
| 样本权重怎么来 | 由上一轮基学习器的预测结果与整体误差率共同决定 |
| 基模型怎么训练 | 按新权重重算样本后,训练方式与单模型完全一致 |
| 误差率怎么算 | 分类用 0-1 损失;回归用平方或指数损失 |
| 投票权重怎么算 | 由本轮误差率算出,误差率越小权重越大 |
结构图只画了主干;每一步的具体公式分别见 [[误差率决定投票权重]] 与 [[误分样本权重指数放大]],为什么这套规则恰好等价于最小化指数损失见 [[指数损失推出 AdaBoost]]。
结构图:
flowchart TD
A[初始化样本等权 D1] --> B[按权重训练基学习器 Tk]
B --> C[计算加权误差率 ek]
C --> D[由 ek 算出投票权重 αk]
D --> E[误分样本权重放大]
E --> F[正确样本权重缩小并归一化]
F --> G{已满 K 轮}
G -- 否 --> B
G -- 是 --> H[按 αk 加权投票输出]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第10章 AdaBoost 10.1 AdaBoost的结构 · 查看原书依据
每一轮训练结束后得到一个基学习器,并计算该基学习器在训练样本上的预测误差率,然后根据这个误差率来更新下一轮训练时训练集各样本的权重系数和本轮基学习器的投票权重
参考来源
- 位置:《机器学习基础:从入门到求职》第10章《AdaBoost》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00013.html)
- 结论依据:原文把 AdaBoost 的一轮拆成「得到基学习器—算误差率—更新样本权重与本轮投票权重」三件事,并说明目标是让错分样本更受重视、越准的基学习器票数越大。
- 原始内容:每一轮训练结束后得到一个基学习器,并计算该基学习器在训练样本上的预测误差率,然后根据这个误差率来更新下一轮训练时训练集各样本的权重系数和本轮基学习器的投票权重