← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9830.i · 生成模型:DeepSeek-V4.1-Flash

用叶子节点做特征交叉

理解等级:高级

apply(X) 返回一个二维矩阵:行是样本,列是树,元素是该样本在这棵树里落到的叶子编号。书上例子里是 16679 行 × 10 列——16679 个验证样本、10 棵 CART 树;第一行第二列的 5211 表示”第一个样本落进了第 2 棵树的第 5211 个叶子”。

这串编号为什么值钱?一棵树从根到某个叶子的路径,是一连串分裂条件的合取,例如”收入>3 万 且 学历=本科 且 近半年查询 次”。所以”落在同一个叶子”等价于”满足同一组特征条件的组合”。叶子编号因此是一个离散化的组合特征:它把若干个原始特征的非线性交互压成了一个类别。

把它变成模型可用的输入,只需一步:对每一列做 one-hot。展开后,每一维代表”是否命中第 k 棵树的第 j 种组合”,维度 = 树数 × 叶子数。这就是自动构造的高阶交叉特征,可以直接喂给逻辑回归这类只会线性组合的模型,让它获得非线性的表达能力(工业界常说的”树模型做特征、线性模型做排序”)。

代价全在维度上:RF 的树多且深,叶子数上万很常见,10 棵树就能展开出十万维,容易维度灾难且极度稀疏;GBDT 的树通常较浅、叶子数受控,展开后规模可接受。原书因此明确指出,实际做高阶特征映射时更常用 GBDT 而不是 RF,尽管原理上 RF 同样可行。

一个使用细节:编码矩阵应当在训练集上拟合、在验证/测试集上复用同一批树,否则同一叶子编号在不同批次里含义不同。跨数据集拼接时,用 apply 得到编号后再按训练时学到的类别表对齐。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第9章《第9章 随机森林》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00012.html) - 结论依据:原文用 apply() 的叶子位置矩阵说明每个叶子对应一种特征组合,从而可自动获得高阶交叉特征,并解释 RF 因树多叶多易维度灾难而更多用 GBDT 做此映射。 - 原始内容:矩阵的每一行表示一个验证集样本,每一列表示最终的RF中的一个基学习器。也就是说,这里我们有16679个样本,10个基学习器……树的每一个叶子节点其实对应了一种不同的特征组合方式