知识卡片
C4.5的连续值离散与缺失值处理
C4.5用两项机制拓宽适用性。其一是连续属性离散化,采用二分法:把训练集中所有申请日期按时间排序,在相邻日期间取中位值(10个日期得9个中位值),对每个中位值算信息增益,选最大的作划分点,把连续日期变成“小于9月13日/大于等于9月13日”这样的离散值;优化做法是只在逾期情况发生改变的相邻日期间取中位值,把计算从9次降到4次。其二是缺失值处理:少量缺失可直接删样本;大量缺失不能删,否则丢失信息,应赋予常见值或均值,更好的办法是给每个取值赋予一个概率,将该属性以概率值形式赋值后再算信息增益。用途与边界:这提升了算法普适性,但离散化增加计算量,概率赋值依赖已有样本分布假设。可迁移启发是:面对缺失信息,用概率分摊比武断删除更稳妥。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 最容易理解的分类算法:决策树 5.4.2 C4.5算法的出现 · 查看原书依据
在这种情况下,处理缺失属性值的正确做法是赋予该特征的常见值,或者属性均值。另外一种比较好的方法是为每个属性可能出现的取值赋予一个概率,将该属性以概率值形式赋值,再去计算这个特征的信息增益。
参考来源
- 位置:《产品经理进阶:100个案例搞懂人工智能 (林中翘)》第5章《最容易理解的分类算法:决策树》(源文件:`../../book-sources/extracted/产品经理进阶:100个案例搞懂人工智能 (林中翘)/_epub-src/OEBPS/text00010.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292)
- 结论依据:原文5.4.2节用“排序—相邻日期取中位值—选信息增益最大的中位值作划分点”说明连续属性离散化,并用“6人无房、4人有房,缺失值以概率分到各分支再算条件熵”说明缺失值处理,支撑本卡对这两项机制的解释。
- 原始内容:在这种情况下,处理缺失属性值的正确做法是赋予该特征的常见值,或者属性均值。另外一种比较好的方法是为每个属性可能出现的取值赋予一个概率,将该属性以概率值形式赋值,再去计算这个特征的信息增益。