知识卡片
特征选择:决策树分裂的关键
特征选择是构建决策树的第一步,也是最关键的一步:从训练样本的众多特征中挑出一个作为当前节点的分裂标准,再从这个特征的取值里找到最佳划分点。核心思想是每次分类都追求一个“当前最优”特征,但“最优”用什么指标衡量,决定了后续算法的差异——用信息增益就是ID3,用信息增益率是C4.5,用基尼系数是CART。用途上,它把“先判断什么”这个看似主观的决定变成可量化的选择。边界在于:特征选择是贪心的、只看当前一步,不保证整棵树全局最优;而且不同指标会带来不同偏向,比如信息增益偏爱取值多的特征。反例是“申请日期”这种每天唯一的特征,几乎能把每个样本单独分开,信息增益极高却毫无泛化能力。可迁移启发是:做决策时优先选那些“一刀下去能把情况分得最开”的问题,但也要警惕那些看似区分度高、实则无意义的变量。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 最容易理解的分类算法:决策树 5.3 决策树实现过程 · 查看原书依据
特征选择是构建决策树的第一步,也是最关键的一步。特征选择是指从训练样本的众多特征中选择一个特征作为当前节点的分裂标准,分类决策树的核心思想就是每次分类时,找到一个当前最优特征,然后从这个特征的取值中找到一个最优结果值
参考来源
- 位置:《产品经理进阶:100个案例搞懂人工智能 (林中翘)》第5章《最容易理解的分类算法:决策树》(源文件:`../../book-sources/extracted/产品经理进阶:100个案例搞懂人工智能 (林中翘)/_epub-src/OEBPS/text00010.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292)
- 结论依据:原文5.3节指出“特征选择是构建决策树的第一步,也是最关键的一步”,并说明因为选择特征有很多不同的评估标准,所以衍生出很多不同的决策树算法,直接支撑本卡关于特征选择地位与指标差异的结论。
- 原始内容:特征选择是构建决策树的第一步,也是最关键的一步。特征选择是指从训练样本的众多特征中选择一个特征作为当前节点的分裂标准,分类决策树的核心思想就是每次分类时,找到一个当前最优特征,然后从这个特征的取值中找到一个最优结果值