知识卡片
GBDT+LR的分层思路
单棵树的表达能力有限,难以同时刻画多个有区分性的组合特征;多棵树(尤其是 GBDT)能自动完成特征的非线性组合与筛选。GBDT+LR 就是把这件事拆成两段:GBDT 负责造特征,LR 负责打分。
做法:训练 N 棵 GBDT 树,样本落到某棵树的哪个叶子,就在该树的 one-hot 段里把对应位置置 1,其余为 0。第 i 棵树有 M_i 个叶子,就贡献 M_i 维,拼起来共 ΣM_i 维的稀疏向量,送入逻辑回归学习权重。例如两棵树分别有 3、2 个叶子,样本落在左树第 1 叶、右树第 2 叶,编码就是 [1,0,0,0,1]。
这样每条“根到叶”的路径就等价于一条特征组合规则,且组合由树自动发现,省去人工枚举;LR 只在这组稀疏特征上做线性加权,训练快、易校准。
代价与边界:两段是分开训练的,GBDT 的切分目标与 LR 的最终损失并不一致,不是端到端优化;新特征维度是各树叶子数之和,树多时特征维度很大;树是在全量样本上训练的,若用同一批数据训练 LR,容易因目标泄漏而高估效果。
结构图:
flowchart LR
A[原始特征] --> B[GBDT 树1]
A --> C[GBDT 树2]
B --> D[叶子 one-hot]
C --> D
D --> E[拼接稀疏向量]
E --> F[LR 输出概率]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 推荐系统的主要算法 · 查看原书依据
GBDT生成N棵树,每棵树上都能从根节点走到叶子节点,到了叶子节点非0即1(点击或者不点击)。把每棵树的输出看成一个组合特征,取值非0即1。
参考来源
- 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第8章 推荐系统的主要算法(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0114.html)
- 结论依据:原文说明每棵树的叶子输出非 0 即 1 并被当作一个组合特征,这正是把树输出拼接成 one-hot 向量喂给 LR 的做法。
- 原始内容:GBDT生成N棵树,每棵树上都能从根节点走到叶子节点,到了叶子节点非0即1(点击或者不点击)。把每棵树的输出看成一个组合特征,取值非0即1。