知识卡片
XGBoost基准模型
未用Embedding的树模型直接以标签化特征训练:把训练集封装成DMatrix,标签取对数;参数设置线程数-1、最大深度7、学习率eta=0.02、目标reg:linear、列与行采样各0.7,迭代3000轮;预测时再指数还原。这种配置用较大深度与较多轮数拟合复杂交互,采样则抑制过拟合。训练误差约0.113、验证误差约0.176,两项都明显高于神经网络基线,说明在这份数据上树模型不是最优;但要注意这并非XGBoost的绝对上限,而是同一数据表示下的对照结果,其价值在于提供可比较的基准。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第11章 用Embedding提升机器学习性能 · 查看原书依据
param = {'nthread': -1, 'max_depth': 7, 'eta': 0.02, 'silent': 1, 'objective': 'reg:linear', 'colsample_bytree': 0.7, 'subsample': 0.7}
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第11章 用Embedding提升机器学习性能(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter15_0003.xhtml)
- 结论依据:原文11.3给出DMatrix、参数字典、迭代轮数与评估误差,支撑本卡对模型配置与结果的说明。
- 原始内容:param = {'nthread': -1, 'max_depth': 7, 'eta': 0.02, 'silent': 1, 'objective': 'reg:linear', 'colsample_bytree': 0.7, 'subsample': 0.7}