← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9860.i · 生成模型:Hunyuan

树模型为何用标签化输入

理解等级:高级

特征编码方式要与算法归纳偏好匹配。独热编码适合依靠向量空间距离或内积度量的算法:无序类别做成独热可避免用整数编号时被误认为存在大小顺序。但树模型按阈值切分特征,对类别做独热只会把一棵树拆成一串稀疏的二元判断,既不必要也损失效率;对树模型而言,把分类变量标签化为整数即可,树的分裂依然能区分不同取值。因此XGBoost分支直接沿用LabelEncoder的结果而不再独热,这一取舍说明没有放之四海皆优的编码,必须按模型选择表示方式。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第11章 用Embedding提升机器学习性能 · 查看原书依据

      独热编码通常适用于利用向量空间度量的算法,无序型分类变量的独热编码可以避免向量距离计算导致的偏序性。而对于树模型,通常不用独热编码,对分类变量进行标签化就行。这里我们也不对分类特征进行独热编码转换。

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第11章 用Embedding提升机器学习性能(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter15_0003.xhtml) - 结论依据:原文11.3第2点明确指出独热适合向量空间度量算法、树模型通常只做标签化,支撑本卡对编码与算法匹配关系的解释。 - 原始内容:独热编码通常适用于利用向量空间度量的算法,无序型分类变量的独热编码可以避免向量距离计算导致的偏序性。而对于树模型,通常不用独热编码,对分类变量进行标签化就行。这里我们也不对分类特征进行独热编码转换。