← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9827.i · 生成模型:DeepSeek-V4.1-Flash

决策树为何不要求特征缩放

理解等级:中级

用 KNN、SVM、线性模型之前几乎都要标准化,决策树却常常直接吃原始特征。原因在于它提问的方式:树只问”这个特征是否 ≤ 某个阈值”,从不计算样本之间的距离或特征之间的内积。

于是,把年收入从”元”换成”万元”,或整体取对数,所有取值的大小顺序不变,候选切分点只是跟着同比移动,切出来的样本分组完全一样,树的结构一模一样。这就是对单调变换不敏感:缩放、取对数、开方都不改变结果。对比之下 KNN 用欧氏距离,量纲大的特征会独占距离,不缩放就失真。

这条性质来自切分点的构造方式:连续特征排序后取相邻值的中位数作候选切分点,离散特征按取值集合做二分——两者都只用到了”顺序”和”是否相等”,没有用到”差多少”。由此也带来第二个好处:数值特征和类别特征可以混在同一棵树里,不需要先统一量纲或做特殊编码。

边界要说清,别把它当成”什么预处理都不用做”:

  • 对异常值仍然敏感。极端值会占掉一个切分区间,或把切分点拉偏,影响树形。
  • 对特征构造不免疫。one-hot 展开后类别特征变成多个 0/1 列,切分逻辑就变了;把连续值分箱也会改变可选切分点。
  • 对集成模型不适用同一结论。随机森林继承树的这一性质,但 GBDT 之后的模型在正则化和数值稳定性上仍可能受益于合理的特征处理。
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第6章 决策树 6.3.3 CART决策树 · 查看原书依据

      当某一特征是连续值时:比如样本中的年收入特征的取值可能有“6,9,10, 12,14,16,18,20”等多个值,那么就先将这些值按从大到小的顺序排列好,然后依次取每两个相邻值的中位数作为划分点

    参考来源

    - 位置:《机器学习基础:从入门到求职》第6章《决策树》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00009.html) - 结论依据:原文在讲 CART 连续特征时说明"按从大到小的顺序排列好,然后依次取每两个相邻值的中位数作为划分点",并在小结把"可以同时处理类别型和数值型数据"列为优点;只用顺序与相邻中位数、不用距离,故单调缩放不改变划分。 - 原始内容:当某一特征是连续值时:比如样本中的年收入特征的取值可能有“6,9,10, 12,14,16,18,20”等多个值,那么就先将这些值按从大到小的顺序排列好,然后依次取每两个相邻值的中位数作为划分点