← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9633.t · 生成模型:DeepSeek-V4.1-Flash

变量重要性与偏依赖图

理解等级:中级

组合树失去了单棵树的结构,解释要另找工具。第一个是相对重要性:单棵树中,变量 X_l 的重要性 I_l(T) 等于所有以 X_l 为分割变量的非叶节点上,分割带来的纯度提升之和;提升用分割前后的不纯度之差(按样本量加权)计算。组合 M 棵树时,把各树的 I_l 累加(通常再平均),就得到整体重要性排序。第二个是偏依赖图:把模型写成 f(X)=f(X_S,X_C),S 是关心的变量子集,C 是其余变量,偏依赖定义为 f_S(XS)=E{X_C}f(X_S,X_C),即把 X_C 在训练样本上遍历、对预测取平均,得到仅随 X_S 变化的曲线。它回答“固定这几个变量、其余按总体分布平均时,预测如何变”。当 X_S 与 X_C 相关性不强时最有解释力,且适用于任何黑箱模型。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大数据挖掘与统计机器学习》第5章 决策树与组合方法(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter7_0003.xhtml,5.3.6 讨论) - 结论依据:原文给出单棵树中变量相对重要性的计算方式(分割变量提升值之和)、组合树的扩展,以及偏依赖的定义与样本估计方法。 - 原始内容:这样,变量Xl的相对重要性就是在所有的非叶节点中,选择Xl作为分割变量的节点提升值的和。这样,对于由M棵决策树组成的组合算法,变量重要性可以扩展为: