知识卡片

普通读书笔记卡 · 9444.e · 生成模型:Tencent Hunyuan Hy

信息增益与奥卡姆剃刀

理解等级:中级

信息增益=信息熵-条件熵,描述的是“没有前提X时的信息量减去有前提X时的信息量”,也就是引入某个特征后不确定性减少了多少。ID3用它作为选特征的依据:每次挑信息增益最大的特征,让数据的归类越来越一致、树越来越矮。为什么选它?背后是奥卡姆剃刀(简单理论)——“越是小型的决策树越优于大型的决策树”,用较少的资源同样可以完成事情。降低不确定性能让节点变少,所以信息增益天然服务于“造一棵尽量小的树”。用途上,这解释了ID3的设计动机。边界在于:奥卡姆剃刀只是设计框架,不是任何情况下都强求最小树;而且信息增益偏爱取值多的特征,会偏离“简单”的初衷。反例是“日期”特征把树撑得极深,看似每个叶节点很纯,实则毫无泛化能力。可迁移启发是:做方案时追求“足够简单且能解释”,而不是一味最简,也不是堆到最全。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《产品经理进阶:100个案例搞懂人工智能 (林中翘)》第5章《最容易理解的分类算法:决策树》(源文件:`../../book-sources/extracted/产品经理进阶:100个案例搞懂人工智能 (林中翘)/_epub-src/OEBPS/text00010.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292) - 结论依据:原文5.3.1节指出“降低信息的不确定性可以使一棵决策树的节点变少,而信息增益描述的是信息不确定性减少的程度,因此使用信息增益作为节点选择依据,可以得到一棵高度相对较矮的决策树”,直接支撑本卡把信息增益与奥卡姆剃刀关联的结论。 - 原始内容:降低信息的不确定性可以使一棵决策树的节点变少,而信息增益描述的是信息不确定性减少的程度,因此使用信息增益作为节点选择依据,可以得到一棵在某些条件下高度相对较矮的决策树,也就是最小型的决策树。