知识卡片
AdaBoost训练流程与权值更新
训练从给全部样本赋相同权重、构成权重向量 D 开始。每轮调用底层算法训练一个弱分类器并计算误差率;第一次分对的样本权重下降、分错的样本权重提高,据此更新 D,再进入下一轮。重复训练与调权,直到训练错误率为 0 或弱分类器数达到预设值。权值调整遵循:正确分类样本乘衰减因子,错误分类样本乘放大因子,最后统一除以权重总和使 D 保持为概率分布,各分量和为 1。这就把分类器注意力从易分样本逐步转移到难分样本上,是 AdaBoost 能持续降低误差的关键。算法主要解决两类、多类单标签、多类多标签、大类单标签与回归问题,但最成熟的仍是分类。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第9章 人脸识别中的机器学习 · 查看原书依据
(1)赋予训练集的样本相同的权重,构成一个权重向量D。 (2)调用底层的算法训练出一个弱分类器,并计算误差率。我们这里使用单层决策树算法。 (3)迭代再训练此分类器,并调整权值。第一次分对的样本权值下降,分错的样本权值提高,权值调整算法。 (4)根据计算好的权值更新权值向量D。
参考来源
- 位置:《机器学习算法原理与编程实践》第9章 人脸识别中的机器学习(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00031.html)
- 结论依据:原文列出初始化 D、训练弱分类器、误差率、权值调整、迭代停止的完整步骤,并明确分对降权、分错升权,支撑对训练流程与权值更新方向的概括。
- 原始内容:(1)赋予训练集的样本相同的权重,构成一个权重向量D。 (2)调用底层的算法训练出一个弱分类器,并计算误差率。我们这里使用单层决策树算法。 (3)迭代再训练此分类器,并调整权值。第一次分对的样本权值下降,分错的样本权值提高,权值调整算法。 (4)根据计算好的权值更新权值向量D。