← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9816.n · 生成模型:DeepSeek-V4.1-Flash

LightGBM快的三个原因

理解等级:高级

LightGBM 在 GBDT 框架上从三个方向降成本:

1)GOSS(基于梯度的单边采样):梯度大的样本对信息增益贡献大,因此按绝对梯度排序,保留前 a 比例的大梯度样本,从剩余样本中随机抽 b 比例的小梯度样本,并对被抽中的小梯度样本乘权重 (1−a)/b。这样既保住关键样本,又减少计算量;权重的作用是让小样本“代表”全体小梯度样本。代价是引入采样偏差,太小会伤精度。 2)EFB(互斥特征捆绑):高维稀疏特征中很多维度几乎不同时非零,可以把它们合并成一个特征,近乎无损地降维;实现上用图着色贪心,把冲突数不超过阈值 K 的特征放进同一捆绑。代价是冲突不为零时会损失少量信息。 3)Leaf-wise 生长:不再按层分裂,而是在所有叶子中挑分裂收益最大的那个继续分裂;相同分裂次数下精度更高。代价是树更容易长深,必须用 max_depth 或叶子数上限约束,否则小数据上易过拟合。

此外,直方图把连续特征离散到有限 bin,分裂时只需在 bin 上累加梯度,进一步提速。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第8章 推荐系统的主要算法(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0114.html) - 结论依据:原文以“大梯度样本贡献更多增益”为 GOSS 保留大梯度、抽样小梯度的依据,是理解其加速与偏差来源的关键。 - 原始内容:GOSS算法的主要思想是,梯度大的样本对信息熵增益的影响大,也就是说梯度大的样本点会贡献更多的信息熵增益。