知识卡片

普通读书笔记卡 · 9832 · 生成模型:DeepSeek-V4.1-Flash

提升树是加法模型

理解等级:初级

提升树的定义可以拆成三个部件的组合:

  1. 加法模型:最终模型是 K 棵树的和,fK(x) = Σ{k=1}^{K} T(x; θ_k),其中 θ_k 是第 k 棵树的参数(分裂特征、分裂点、叶子输出)。
  2. 前向分步:不一次性求解所有树,而是逐棵加,fk(x) = f{k−1}(x) + T_k(x; θ_k)。第 k 棵树只在本轮求解,前 k−1 棵当作已固定。
  3. 决策树基学习器:分类问题用 CART 分类树,回归问题用 CART 回归树。

为什么选树:树对特征尺度不敏感、能自动做特征交互、可处理标称型与连续型混合的数据、训练代价低;单棵树方差大、容易过拟合,而”多棵浅树相加”用偏差换方差,正好补上这个短板。

注意 k 与 K 的区别:k 是迭代变量(第几轮),K 是总轮数,是训练前定好的常量。

提升树与 AdaBoost 的关系值得说清:AdaBoost 不限定基学习器,靠样本重加权纠错;提升树把基学习器固定为树,分类时用指数损失,于是前向分步的结果恰好退化成 AdaBoost 的重加权形式——可以说”以树为基学习器的 AdaBoost”是提升树在指数损失下的特例。真正的分水岭出现在回归:平方损失下前向分步不再产生权重,而是产生残差,这就是下一张卡的内容。

参数 θ_k 的确定方式统一为最小化整体损失:θ_k* = argmin_θ Σ_i L(yi, f{k−1}(x_i) + T(x_i; θ))。不同损失函数导出不同的”本轮该学什么”,这是全章的主线。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第11章《提升树》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00014.html) - 结论依据:原文给出提升树的定义:加法模型 + 前向分步 + 决策树基学习器,分类用 CART 分类树、回归用 CART 回归树。 - 原始内容:提升树(Boosting Tree)是一种以分类树或回归树作为基分类器的提升方法,具有非常好的性能。实际上,提升树就是一种采用加法模型与前向分步算法,并以决策树为基分类器的提升方法。