← 返回刚才阅读的位置

知识卡片

操作参考卡 · 9904.p · 生成模型:Hunyuan

GBDT叶子节点特征转换

理解等级:中级

训练好GBDT后,特征转换的操作很机械:一个样本输入某棵子树,会按各节点规则落入唯一的叶子节点,把该叶子置1、其余置0,形成这棵树的one-hot向量;把所有子树的向量首尾拼接,就是交给LR的离散特征向量。例如三棵各四个叶子的树,样本依次落入第3、第1、第4个叶子,拼接后得到12维向量。这里有个关键权衡:决策树深度决定特征交叉阶数,深度为4意味着经过3次分裂、叶节点是三阶特征组合的结果,交叉能力远超只能做二阶的FM系模型。但GBDT容易过拟合,且叶子映射丢弃了大量数值信息,所以不能简单断言它效果一定优于FFM,模型选择永远是多种因素综合的结果。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第2章 前深度学习时代——推荐系统的进化之路 · 查看原书依据

      一个训练样本在输入GBDT的某一子树后,会根据每个节点的规则最终落入某一叶子节点,把该叶子节点置为 1,其他叶子节点置为 0,所有叶子节点组成的向量即形成了该棵树的特征向量,把GBDT所有子树的特征向量连接起来,即形成了后续LR模型输入的离散型特征向量

    参考来源

    - 位置:《深度学习推荐系统》第2章 前深度学习时代——推荐系统的进化之路(源文件:extracted/深度学习推荐系统/_epub-src/text/part0006_split_006.html) - 结论依据:原文用三棵子树各四个叶子的例子演示one-hot向量拼接过程,并说明树深决定交叉阶数、过拟合与数值信息丢失使效果不能一概而论。 - 原始内容:一个训练样本在输入GBDT的某一子树后,会根据每个节点的规则最终落入某一叶子节点,把该叶子节点置为 1,其他叶子节点置为 0,所有叶子节点组成的向量即形成了该棵树的特征向量,把GBDT所有子树的特征向量连接起来,即形成了后续LR模型输入的离散型特征向量