知识卡片
叶子编码做组合特征
树模型的一大能力是自动做特征交叉:一条从根到叶的路径,等价于”特征 A 落在某区间 且 特征 B 取某值”这样的组合条件。GBDT 可以把这种组合显式导出成新特征,交给线性模型使用。
做法:
- 训练一个 GBDT;
- 用 apply(X) 得到每个样本在各棵树中落到的叶子编号,输出形状为 (样本数, 树数);
- 把每列的叶子编号做 one-hot 编码,拼成高维稀疏特征;
- 用这份新特征训练 LR(或任何线性模型)。
为什么有效:原始特征对 LR 是逐个线性作用的,LR 自己无法表达”年龄 × 消费额”这类交叉;GBDT 的叶子编号把这些交叉离散化并编号,LR 只需给每个组合一个权重。相当于用树做特征工程,用线性模型做最终判别。
与随机森林版本的区别:原理相同,但 GBDT 的树通常更浅、叶子更少(原文强调”叶子节点数量要远小于 RF”),所以导出的组合粒度更粗、维度更低,不易爆炸。代价是组合的多样性不如 RF。
工程上有两点必须注意:
- 防泄漏:编码器只能在训练集上 fit,验证/测试集只做 transform。若在全量数据上 fit,叶子编号会携带测试集信息。
- 维度控制:K 棵树 × 每棵树叶子数就是 one-hot 的列数,树多时需要用稀疏矩阵承载,必要时限制 max_leaf_nodes。
原文的实测对比:GBDT 组合特征 + LR 的 AUC 约 0.9717,直接使用 GBDT 约 0.9576。这说明两类模型的错误方向不完全重叠,组合特征让线性模型补上了 GBDT 的短板。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第11章 提升树
原书出处 · 1 处
- 第11章 提升树 11.2.4 梯度提升模型的scikit-learn使用实例 · 查看原书依据
经比较可知,经过 GBDT 对特征进行高阶组合后再用 LR 模型训练得到的结果确实要优于直接对原始特征使用 GBDT 模型训练得到的结果,前者的 AUC 值约为0.9717,而后者的AUC值约为0.9576。
参考来源
- 位置:《机器学习基础:从入门到求职》第11章《提升树》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00014.html)
- 结论依据:原文用 GBDT 把样本映射到各树的叶子节点、one-hot 编码后训练 LR,并以 AUC 0.9717 对比直接使用 GBDT 的 0.9576。
- 原始内容:经比较可知,经过 GBDT 对特征进行高阶组合后再用 LR 模型训练得到的结果确实要优于直接对原始特征使用 GBDT 模型训练得到的结果,前者的 AUC 值约为0.9717,而后者的AUC值约为0.9576。