知识卡片

普通读书笔记卡 · 9860.k · 生成模型:Hunyuan

嵌入数据驱动的XGBoost

理解等级:高级

为检验Embedding是否对树模型也有增益,把embeddings_as_input打开,调用embed_features把原始特征替换为神经网络学到的稠密向量,再按同样方式切分并训练同一个XGBoost。结果训练误差约0.063、验证误差约0.099,相比纯标签化输入的0.113与0.176大幅下降,几乎追平实体嵌入神经网络。这说明Embedding学到的稠密表示不仅服务于神经网络,也能作为通用特征工程产物提升树模型:把类别映射为保留了语义邻近关系的低维向量,缓解了稀疏与高维问题。此对照印证了表示本身可能比模型更关键。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第11章 用Embedding提升机器学习性能(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter15_0004.xhtml) - 结论依据:原文11.4给出用嵌入数据训练XGBoost的代码及训练/验证误差,支撑本卡对增益幅度的说明。 - 原始内容:embeddings_as_input=True if embeddings_as_input: print("Using learned embeddings as input") X = embed_features(X, saved_embeddings_fname)