知识卡片

普通读书笔记卡 · 9448.g · 生成模型:Tencent Hunyuan Hy

GBDT残差与梯度提升

理解等级:高级

GBDT(梯度提升决策树)结合了梯度下降、决策树和集成三者优点。它同样串行迭代,但每轮不直接拟合真实值,而是在上一轮模型的残差(真实值与当前预测值之差)上训练下一棵回归树;最终把各轮弱分类器的预测加权求和得到总输出。其树必须是低方差、高偏差的浅树,因为训练靠一步步降低偏差来提精度。核心思想是:每建一个新学习器,都沿已有模型损失函数的最速下降(梯度)方向前进,让损失持续变小——书中用“逐轮下载360MB电影、120MB短片、20MB小说逐步逼近流量总量500MB”作比。相比单棵决策树,GBDT靠残差逐渐逼近而非一刀切,用更少特征达到同等拟合效果(如10个特征抵30个),过拟合风险更低,广泛用于欺诈检测、搜索排序等。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《产品经理进阶:100个案例搞懂人工智能 (林中翘)》第9章《要想模型效果好,集成算法少不了》(源文件:`../../book-sources/extracted/产品经理进阶:100个案例搞懂人工智能 (林中翘)/_epub-src/OEBPS/text00014.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292) - 结论依据:原文“GBDT通过多轮迭代,每轮迭代产生一个弱分类器,每个分类器在上一轮分类器的残差基础上进行训练……GBDT 的训练过程是通过降低偏差使得分类器的精度升高的”直接解释其逐轮逼近机制。 - 原始内容:GBDT通过多轮迭代,每轮迭代产生一个弱分类器,每个分类器在上一轮分类器的残差基础上进行训练。一般选择分类回归树作为弱分类器,且这棵树必须满足低方差和高偏差的特点。