知识卡片
集成学习提升推荐效果
集成学习把多个模型融为一个强模型(常是多弱模型集成),同时提升精度与泛化性,适合“算力充足、追求精度”的业务。三种常用方法:
① 参数赋值法:给每个模型打分赋权重再相加,预估能力越强权重越大。它精度提升有限但很实用——适合新旧模型替换(新模型上线初期不适应数据分布时,先给旧模型大权重、逐步调大新模型权重直至替代),也适合运营按业务实时调多目标权重。
② 线性回归法:把多个模型打分拼成一列特征,用一个 LR 模型输出最终结果,比参数赋值更精细。
③ Stacking:充分利用交叉验证,把多个模型的预测结果当特征,再训练一个元模型预测(参见 [[Stacking集成流程]])。基础模型强弱比常取 2:1(两个强模型如 XGB/LightGBM + 一个弱模型 LR),保精度又防过拟合;适合小规模数据集、以机器学习模型为主,不适合神经网络大规模场景。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 机器学习模型调参 5.6 利用集成学习提高推荐效果 · 查看原书依据
Stacking在目前的大规模数据业务场景的应用不多,它比较适合小规模数据集的场景,采用的基础模型以机器学习模型为主,不适合神经网络的场景
参考来源
- 位置:《推荐系统全链路设计:原理解读与业务实践》第5章《机器学习模型调参》(来源项目book-sources;extracted/推荐系统全链路设计:原理解读与业务实践/_epub-src/converter-master/example/312287/54.html;src-035)
- 结论依据:原文列出参数赋值法、线性回归法、Stacking 三种集成方法及各自适用场景(新旧替换、多目标、小数据集、ML 为主),直接支撑本卡对集成方法的选择与权衡。
- 原始内容:Stacking在目前的大规模数据业务场景的应用不多,它比较适合小规模数据集的场景,采用的基础模型以机器学习模型为主,不适合神经网络的场景