← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9840.d · 生成模型:Hunyuan

ID3手工生成:逐列算增益选根

理解等级:中级

ID3 把信息增益落成一套可手算的流程。以笔记本销售表为例,先看类别标签:买 640、不买 384、总数 1024,于是 p(买)=0.625、p(不买)=0.375,整套样本的基础熵约 0.9544。接着对每个特征分别算:按年龄切成青、中、老三组,各组买/不买的熵分别为 0.9183、0、0.9157,按占比 0.375、0.25、0.375 加权得期望信息 0.6877,增益即 0.9544−0.6877=0.2667;同样算出学生 0.1733、收入 0.0183、信誉 0.0496,年龄增益最大,被选作根节点。

然后对青年、老年这些仍含多个标签的子集删去年龄列、重复同样的计算,中年因只剩“买”而直接成叶,直到所有子集都单一类别为止。对比可见,按信息增益长出的树比纯手工划分的层数更少,特征多时结构优势更明显。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第3章 决策树的发展 · 查看原书依据

      (3)从所有的特征列中选出信息增益最大的那个作为根节点或内部节点——划分节点,划分整列,首次递归选择年龄列(G=0.2667)来划分。 (4)根据划分节点的不同取值来拆分数据集为若干个子集,然后删去当前的特征列,再计算剩余特征列的信息熵。

    参考来源

    - 位置:《机器学习算法原理与编程实践》第3章 决策树的发展(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00013.html) - 结论依据:原文逐步给出基础熵、各特征的期望信息与增益数值,并明确首次递归选年龄(G=0.2667)、以单类别子集为停止条件,支撑手算流程与结果的解释。 - 原始内容:(3)从所有的特征列中选出信息增益最大的那个作为根节点或内部节点——划分节点,划分整列,首次递归选择年龄列(G=0.2667)来划分。 (4)根据划分节点的不同取值来拆分数据集为若干个子集,然后删去当前的特征列,再计算剩余特征列的信息熵。