← 返回刚才阅读的位置

知识卡片

结构图卡 · 9904.o · 生成模型:Hunyuan

GBDT+LR组合模型结构

理解等级:中级

GBDT+LR是Facebook提出的组合模型,核心是用GBDT自动完成特征筛选与组合,生成新的离散特征向量,再把它作为LR的输入来预估CTR。之所以能组合,是因为两步独立训练:GBDT负责把原始特征向量转成离散向量,LR单独用这份向量训练,因此不存在把LR梯度回传到GBDT的复杂问题。GBDT本身是梯度提升的决策树林,预测时把所有子树结果相加,生成新子树时以样本标签与当前树林预测值的残差为目标,每棵树的分裂是自然的特征选择,多层节点结构则完成特征自动组合。该结构的意义在于让特征工程第一次可以完全交给一个独立模型完成。

结构图:

flowchart LR
    X[原始特征向量] --> G[GBDT构建特征工程]
    G --> V[各子树叶子节点onehot]
    V --> C[拼接离散特征向量]
    C --> R[LR预估CTR]
    R --> Y[点击概率排序]
    G -.->|两步独立训练| R
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深度学习推荐系统》第2章 前深度学习时代——推荐系统的进化之路(源文件:extracted/深度学习推荐系统/_epub-src/text/part0006_split_006.html) - 结论依据:原文给出GBDT+LR的结构定义,强调GBDT构建特征工程与LR预估CTR两步独立训练,并解释GBDT以残差逐棵生成树林的机制。 - 原始内容:需要强调的是,用 GBDT 构建特征工程,利用 LR 预估 CTR 这两步是独立训练的,所以不存在如何将 LR 的梯度回传到 GBDT 这类复杂的问题。利用 LR预估 CTR 的过程在 2.4 节已经进行了详细介绍,本节着重讲解利用 GBDT 构建新的特征向量的过程。