知识卡片
嵌入数据驱动的XGBoost
为检验Embedding是否对树模型也有增益,把embeddings_as_input打开,调用embed_features把原始特征替换为神经网络学到的稠密向量,再按同样方式切分并训练同一个XGBoost。结果训练误差约0.063、验证误差约0.099,相比纯标签化输入的0.113与0.176大幅下降,几乎追平实体嵌入神经网络。这说明Embedding学到的稠密表示不仅服务于神经网络,也能作为通用特征工程产物提升树模型:把类别映射为保留了语义邻近关系的低维向量,缓解了稀疏与高维问题。此对照印证了表示本身可能比模型更关键。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第11章 用Embedding提升机器学习性能 · 查看原书依据
embeddings_as_input=True if embeddings_as_input: print("Using learned embeddings as input") X = embed_features(X, saved_embeddings_fname)
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第11章 用Embedding提升机器学习性能(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter15_0004.xhtml)
- 结论依据:原文11.4给出用嵌入数据训练XGBoost的代码及训练/验证误差,支撑本卡对增益幅度的说明。
- 原始内容:embeddings_as_input=True if embeddings_as_input: print("Using learned embeddings as input") X = embed_features(X, saved_embeddings_fname)