知识卡片
GBDT迭代减损失
梯度提升决策树(GBDT)依次迭代训练一系列决策树,以最小化损失函数:每一轮先用现有的树集合对训练样本做预测,与真实标签比较,把预测不好的样本赋予更高权重,让下一棵树修正先前的错误。它能处理类别特征、不需要特征缩放。书中 Spark.ml 版本的分类损失为对数损失,回归为平方误差或绝对误差,当时还不支持多分类。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《分布式机器学习实战》第6章《Spark分布式机器学习平台》(源文件:_epub-src/OEBPS/Text/chapter6.xhtml)
- 结论依据:原文说明梯度提升决策树通过反复迭代训练决策树来最小化损失函数;每次迭代用现有集成对训练实例预测,与真实标签比较,赋予预测不好的实例更高权重,下次迭代修正先前错误;可处理类别特征、不需特征缩放;Spark.ml分类用Log Loss,回归用平方误差与绝对误差,当时不支持多分类。
- 原始内容:梯度提升决策树是一种决策树的集成算法,它通过反复迭代训练决策树来最小化损失函数。……注意梯度提升树目前不支持多分类问题。