知识卡片

普通读书笔记卡 · 9830.e · 生成模型:DeepSeek-V4.1-Flash

哪个特征最有用

理解等级:中级

基于树的集成模型有个附赠能力:训练完可以直接读出每个特征的重要程度,属性名 feature_importances_,值越大越重要,通常已归一化(全部加起来等于 1)。原书给的实例里,30 个特征中排前四的是 salary_change(0.28199)、total_amount(0.21808)、browse_his(0.13671)、pre_repay(0.13387)——四个特征承担了一半以上的”贡献”。

它是怎么算出来的:每棵树在某个内部节点做一次分裂时,会让不纯度下降(分类看基尼系数或信息增益,回归看方差/标准差)。把这次下降量乘以经过该节点的样本占比,记到被选中的那个特征头上;对所有节点、所有树累加,最后归一化。所以它衡量的是”这个特征帮模型把样本分纯了多少”,也叫基于不纯度下降的重要性(MDI)。

三个正确用法:

  1. 定向补数据。重要性最高的几个特征,值得继续采集更细的版本、派生相关特征。原书正是这么建议的:知道 salary_change 和 total_amount 最关键后,就可以围绕它们做特征工程。
  2. 粗筛特征。特征成百上千时,按重要性排序设一个阈值,截掉尾部的特征再训练,能明显降维、提速。
  3. 辅助解释。给业务方一个”模型主要看哪几项”的粗粒度说明。

四个常见误读:

  • 它偏爱高基数特征和连续特征:切分点越多,越容易找到一个让不纯度明显下降的切点,重要性被系统性高估。类别特征做 one-hot 后,各列分到的份额还会被摊薄。
  • 相关特征会互相分摊。两个几乎等价的特征,重要性可能各拿一半,都显得不重要;删掉其中一个,另一个会立刻”变重要”。所以不能因为某项低就断定它没用。
  • 它在训练集上统计,模型过拟合时照样能给出漂亮排序。
  • 重要性不等于因果。它只说明”树靠它分样本”,不说明改变它就会改变结果。

需要更可靠的排序时,可改用置换重要性:打乱某列后看模型指标掉多少,代价是要多预测几次,但偏差小得多。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第9章《第9章 随机森林》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00012.html) - 结论依据:原文说明 feature_importances_ 输出各特征重要程度、值越大作用越大,并给出实例中四个最高特征的数值及据此定向挖掘特征的用法。 - 原始内容:以上输出的就是前面训练样本中的30个特征对应的重要性指数,该指数的值越大,表示该特征在模型的训练中起到的作用越大。可以看出,四舍五入值最大的特征分别是第二(0.28199)和第四(0.21808),对应的是salary_change特征和total_amount特征