知识卡片
AdaBoost的两层结构与思想
AdaBoost 是 Adaptive Boosting 的缩写,是 Boosting 的改进版,与 Boost 一样从决策树发展而来。它的思路是针对同一训练集的不同特征分别训练弱分类器,再把这些弱分类器级联组合起来形成一个强分类器。结构上它是复合型算法,分两层:第一层是 AdaBoost 主算法,负责样本权重调整与弱分类器组合;第二层是某个二分类算法,最常用的是单层决策树,但也可以是梯度下降、SVM 等任何二分类器。之所以能弱变强,是因为每轮训练都把上一轮分错的样本权重提高,迫使后续分类器关注难分样本,最终按权重投票得到整体判断。理解两层分工,就能把如何调权与如何找弱分类器两个问题分开处理。
结构图:
flowchart TD
A[第一层:AdaBoost主算法] --> B[调用底层训练弱分类器]
B --> C[算误差率并调整样本权重]
C --> B
C --> D[按权重组合成强分类器]
E[第二层:二分类算法] --> B
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第9章 人脸识别中的机器学习 · 查看原书依据
从结构上讲,AdaBoost与其他的机器学习算法不同,该算法可以分为两层,第一层是AdaBoost主算法,第二层是其他的二分类算法,所以AdaBoost是一种复合型算法。第二层最常用的是单层决策树。当然,也可以是其他任何二分类算法,例如梯度下降法、SVM等。
参考来源
- 位置:《机器学习算法原理与编程实践》第9章 人脸识别中的机器学习(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00031.html)
- 结论依据:原文明确 AdaBoost 是复合型算法、分主算法与二分类算法两层,第二层常用单层决策树,并说明弱分类器级联成强分类器,支撑两层结构的概括。
- 原始内容:从结构上讲,AdaBoost与其他的机器学习算法不同,该算法可以分为两层,第一层是AdaBoost主算法,第二层是其他的二分类算法,所以AdaBoost是一种复合型算法。第二层最常用的是单层决策树。当然,也可以是其他任何二分类算法,例如梯度下降法、SVM等。