← 返回刚才阅读的位置

知识卡片

结构图卡 · 9846.j · 生成模型:Hunyuan

AdaBoost的两层结构与思想

理解等级:中级

AdaBoost 是 Adaptive Boosting 的缩写,是 Boosting 的改进版,与 Boost 一样从决策树发展而来。它的思路是针对同一训练集的不同特征分别训练弱分类器,再把这些弱分类器级联组合起来形成一个强分类器。结构上它是复合型算法,分两层:第一层是 AdaBoost 主算法,负责样本权重调整与弱分类器组合;第二层是某个二分类算法,最常用的是单层决策树,但也可以是梯度下降、SVM 等任何二分类器。之所以能弱变强,是因为每轮训练都把上一轮分错的样本权重提高,迫使后续分类器关注难分样本,最终按权重投票得到整体判断。理解两层分工,就能把如何调权与如何找弱分类器两个问题分开处理。

结构图:

flowchart TD
  A[第一层:AdaBoost主算法] --> B[调用底层训练弱分类器]
  B --> C[算误差率并调整样本权重]
  C --> B
  C --> D[按权重组合成强分类器]
  E[第二层:二分类算法] --> B
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第9章 人脸识别中的机器学习 · 查看原书依据

      从结构上讲,AdaBoost与其他的机器学习算法不同,该算法可以分为两层,第一层是AdaBoost主算法,第二层是其他的二分类算法,所以AdaBoost是一种复合型算法。第二层最常用的是单层决策树。当然,也可以是其他任何二分类算法,例如梯度下降法、SVM等。

    参考来源

    - 位置:《机器学习算法原理与编程实践》第9章 人脸识别中的机器学习(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00031.html) - 结论依据:原文明确 AdaBoost 是复合型算法、分主算法与二分类算法两层,第二层常用单层决策树,并说明弱分类器级联成强分类器,支撑两层结构的概括。 - 原始内容:从结构上讲,AdaBoost与其他的机器学习算法不同,该算法可以分为两层,第一层是AdaBoost主算法,第二层是其他的二分类算法,所以AdaBoost是一种复合型算法。第二层最常用的是单层决策树。当然,也可以是其他任何二分类算法,例如梯度下降法、SVM等。