知识卡片

普通读书笔记卡 · 9444.i · 生成模型:Tencent Hunyuan Hy

C4.5用信息增益率消除偏向

理解等级:高级

C4.5针对ID3偏向多取值特征的毛病,引入信息增益率=信息增益/分裂信息度量。分裂信息度量是个惩罚项:取值多的特征会被压低权重,从而“显得”不那么重要,消除信息增益的偏向。但惩罚过头又会偏爱取值少的特征,所以C4.5采取折中:先在所有候选特征里挑出信息增益高于平均水平的,保证大概率是好特征;再从这些里选信息增益率最高的,避免选出“日期”这类极端特征。用途上,这一“两阶段”筛选兼顾了两种指标的优势。边界在于:这是经验性折中,并非理论最优;C4.5面对连续属性仍需多次扫描排序、耗时较长,且只适合能驻留内存的数据集。反例是超大规模数据下C4.5跑不动,需升级到C5.0。可迁移启发是:当两个指标各有偏向时,可用“先筛后选”的组合策略取长补短。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《产品经理进阶:100个案例搞懂人工智能 (林中翘)》第5章《最容易理解的分类算法:决策树》(源文件:`../../book-sources/extracted/产品经理进阶:100个案例搞懂人工智能 (林中翘)/_epub-src/OEBPS/text00010.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292) - 结论依据:原文5.4.2节说明C4.5“先在所有候选特征中找到信息增益高于平均水平的特征,再从中选择信息增益率最高的特征”,并指出这能“保证最后不会挑选出‘日期’这类极端的特征”,支撑本卡对折中策略的解释。 - 原始内容:该算法不直接选择信息增益率最大的特征作为最优特征,而是先在所有候选特征中找到信息增益高于平均水平的特征,以保证选择出来的特征大概率是好的特征,再从中选择信息增益率最高的特征