知识卡片
随机森林特征重要性
随机森林能度量特征重要性:用森林中所有决策树对该特征的平均不纯度衰减来评分,无需考虑数据是否线性可分,也不必做标准化。scikit-learn 拟合 RandomForestClassifier 后用 featureimportances 取得各特征重要性(归一化后和为 1.0),重要特征与 SBS 选出的有不少重合。注意:若两个特征高度相关,其中一个可能因“分担”而得分偏低,解释时要小心;若只关心预测性能,可不必纠结解释。随机森林还实现了 transform,可按阈值自动做特征选择,便于串进流水线。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 数据预处理——构建好的训练数据集 · 查看原书依据
如果两个或者更多个特征是高度相关的,一个特征的相关特征未被完全包含进来,那么此特征可能会得到一个较高的评分
参考来源
- 位置:《Python机器学习》第4章《4.6 通过随机森林判定特征的重要性》(源文件:`../../book-sources/extracted/Python机器学习/_epub-src/OEBPS/Text/part0061.xhtml.xhtml)
- 结论依据:原文直接支撑上述要点。
- 原始内容:如果两个或者更多个特征是高度相关的,一个特征的相关特征未被完全包含进来,那么此特征可能会得到一个较高的评分