知识卡片
LightGBM的算法优化
LightGBM 在 XGBoost 基础上做了一系列算法优化,同等效果下速度约为 XGBoost 的 10 倍,从而打破 XGBoost 在树模型上的垄断,被众多企业采用,尤其适合大型数据集。其核心优化有五项:① 直方图算法(离散分桶加速);② 单边梯度采样(GOSS,保留大梯度样本、随机丢弃小梯度样本);③ 互斥特征捆绑(EFB,把互斥特征打包减少特征数);④ 带深度限制的 Leaf-wise 生长(每次分裂增益最大的叶子,比 level-wise 更高效);⑤ 类别特征处理(原生支持类别特征)。
参数基本与 XGBoost 类似(参见 [[XGBoost调参参数参考]])。其中 n_estimators 表示 Boosting 迭代次数,默认 100,一般按数据选 100~1000;更保守做法是设较大值配合 early_stopping_round 让模型按性能自动选最佳迭代。迭代次数过大会在训练集表现好但测试集下降、易过拟合。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 机器学习模型调参 5.4 LightGBM调参 · 查看原书依据
更保守的做法是,设置一个较大的值配合early_stopping_round来让模型根据性能自动选择最好的迭代次数
参考来源
- 位置:《推荐系统全链路设计:原理解读与业务实践》第5章《机器学习模型调参》(来源项目book-sources;extracted/推荐系统全链路设计:原理解读与业务实践/_epub-src/converter-master/example/312287/50.html;src-033)
- 结论依据:原文列出 LightGBM 相对 XGBoost 的五项优化(直方图、GOSS、EFB、Leaf-wise、类别特征)并给出“同等效果下速度是 XGB 的 10 倍”与 n_estimators/early_stopping 用法,直接支撑本卡。
- 原始内容:更保守的做法是,设置一个较大的值配合early_stopping_round来让模型根据性能自动选择最好的迭代次数