← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9860.j · 生成模型:Hunyuan

XGBoost基准模型

理解等级:中级

未用Embedding的树模型直接以标签化特征训练:把训练集封装成DMatrix,标签取对数;参数设置线程数-1、最大深度7、学习率eta=0.02、目标reg:linear、列与行采样各0.7,迭代3000轮;预测时再指数还原。这种配置用较大深度与较多轮数拟合复杂交互,采样则抑制过拟合。训练误差约0.113、验证误差约0.176,两项都明显高于神经网络基线,说明在这份数据上树模型不是最优;但要注意这并非XGBoost的绝对上限,而是同一数据表示下的对照结果,其价值在于提供可比较的基准。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第11章 用Embedding提升机器学习性能(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter15_0003.xhtml) - 结论依据:原文11.3给出DMatrix、参数字典、迭代轮数与评估误差,支撑本卡对模型配置与结果的说明。 - 原始内容:param = {'nthread': -1, 'max_depth': 7, 'eta': 0.02, 'silent': 1, 'objective': 'reg:linear', 'colsample_bytree': 0.7, 'subsample': 0.7}