← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9832.k · 生成模型:DeepSeek-V4.1-Flash

并行在特征粒度

理解等级:中级

“XGBoost 支持并行”这句话常被误解成”可以同时训练多棵树”。它不是。

为什么不能树粒度并行:GBDT 家族的基学习器强关联,第 k 棵树的目标(负梯度)依赖前 k−1 棵树的输出,天然是串行的。这和随机森林相反——RF 的每棵树用独立重采样训练,彼此不知情,所以可以按树并行。

真正的瓶颈在哪:建一棵树最贵的一步是”为每个特征找最佳分裂点”,而这需要先把该特征的所有取值排序。数据有 M 个样本、D 个特征时,这个排序成本很高,且每建一棵树都要重复。

XGBoost 的做法:

  1. 训练前对每个特征预排序一次,把”特征值 + 对应的梯度统计量”按列存成 block 结构;
  2. 找分裂点时,各特征在各自的 block 上独立扫描,特征之间没有依赖,因此可以多线程并行;
  3. block 结构在后续所有迭代中复用,省掉重复排序。

所以并行的粒度是特征,不是树。加速来自”同一棵树内多个特征同时找分裂点”,而不是”多棵树同时训练”。

对比项 随机森林 XGBoost
并行粒度 树 特征
前提 树之间独立 树之间串行,但树内特征独立
复用 无 block 预排序结构跨轮复用

这也划出了上限:无论特征侧怎么并行,K 轮加法仍需顺序执行,所以 XGBoost 的快是”常数因子级”的加速,不是把串行算法变成并行算法。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第11章 提升树 11.3.3 XGBoost与GBDT的比较 · 查看原书依据

      我们知道,决策树的学习过程最耗时的一个步骤就是对特征的值进行排序以确定最佳分割点,所以XGBoost在训练之前,预先对各特征数据进行了排序,并将其保存为block结构,利用这个block结构,各个特征的增益计算可以多线程进行

    参考来源

    - 位置:《机器学习基础:从入门到求职》第11章《提升树》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00014.html) - 结论依据:原文说明 XGBoost 的并行不是树粒度而是特征粒度:训练前对特征预排序并保存为 block,各特征增益可多线程计算且后续迭代复用。 - 原始内容:我们知道,决策树的学习过程最耗时的一个步骤就是对特征的值进行排序以确定最佳分割点,所以XGBoost在训练之前,预先对各特征数据进行了排序,并将其保存为block结构,利用这个block结构,各个特征的增益计算可以多线程进行