知识卡片
用叶子节点做特征交叉
apply(X) 返回一个二维矩阵:行是样本,列是树,元素是该样本在这棵树里落到的叶子编号。书上例子里是 16679 行 × 10 列——16679 个验证样本、10 棵 CART 树;第一行第二列的 5211 表示”第一个样本落进了第 2 棵树的第 5211 个叶子”。
这串编号为什么值钱?一棵树从根到某个叶子的路径,是一连串分裂条件的合取,例如”收入>3 万 且 学历=本科 且 近半年查询 次”。所以”落在同一个叶子”等价于”满足同一组特征条件的组合”。叶子编号因此是一个离散化的组合特征:它把若干个原始特征的非线性交互压成了一个类别。
把它变成模型可用的输入,只需一步:对每一列做 one-hot。展开后,每一维代表”是否命中第 k 棵树的第 j 种组合”,维度 = 树数 × 叶子数。这就是自动构造的高阶交叉特征,可以直接喂给逻辑回归这类只会线性组合的模型,让它获得非线性的表达能力(工业界常说的”树模型做特征、线性模型做排序”)。
代价全在维度上:RF 的树多且深,叶子数上万很常见,10 棵树就能展开出十万维,容易维度灾难且极度稀疏;GBDT 的树通常较浅、叶子数受控,展开后规模可接受。原书因此明确指出,实际做高阶特征映射时更常用 GBDT 而不是 RF,尽管原理上 RF 同样可行。
一个使用细节:编码矩阵应当在训练集上拟合、在验证/测试集上复用同一批树,否则同一叶子编号在不同批次里含义不同。跨数据集拼接时,用 apply 得到编号后再按训练时学到的类别表对齐。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第9章 随机森林 9.5.3 扩展 · 查看原书依据
矩阵的每一行表示一个验证集样本,每一列表示最终的RF中的一个基学习器
参考来源
- 位置:《机器学习基础:从入门到求职》第9章《第9章 随机森林》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00012.html)
- 结论依据:原文用 apply() 的叶子位置矩阵说明每个叶子对应一种特征组合,从而可自动获得高阶交叉特征,并解释 RF 因树多叶多易维度灾难而更多用 GBDT 做此映射。
- 原始内容:矩阵的每一行表示一个验证集样本,每一列表示最终的RF中的一个基学习器。也就是说,这里我们有16679个样本,10个基学习器……树的每一个叶子节点其实对应了一种不同的特征组合方式