知识卡片
ID3手工生成:逐列算增益选根
ID3 把信息增益落成一套可手算的流程。以笔记本销售表为例,先看类别标签:买 640、不买 384、总数 1024,于是 p(买)=0.625、p(不买)=0.375,整套样本的基础熵约 0.9544。接着对每个特征分别算:按年龄切成青、中、老三组,各组买/不买的熵分别为 0.9183、0、0.9157,按占比 0.375、0.25、0.375 加权得期望信息 0.6877,增益即 0.9544−0.6877=0.2667;同样算出学生 0.1733、收入 0.0183、信誉 0.0496,年龄增益最大,被选作根节点。
然后对青年、老年这些仍含多个标签的子集删去年龄列、重复同样的计算,中年因只剩“买”而直接成叶,直到所有子集都单一类别为止。对比可见,按信息增益长出的树比纯手工划分的层数更少,特征多时结构优势更明显。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第3章 决策树的发展 · 查看原书依据
(3)从所有的特征列中选出信息增益最大的那个作为根节点或内部节点——划分节点,划分整列,首次递归选择年龄列(G=0.2667)来划分。 (4)根据划分节点的不同取值来拆分数据集为若干个子集,然后删去当前的特征列,再计算剩余特征列的信息熵。
参考来源
- 位置:《机器学习算法原理与编程实践》第3章 决策树的发展(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00013.html)
- 结论依据:原文逐步给出基础熵、各特征的期望信息与增益数值,并明确首次递归选年龄(G=0.2667)、以单类别子集为停止条件,支撑手算流程与结果的解释。
- 原始内容:(3)从所有的特征列中选出信息增益最大的那个作为根节点或内部节点——划分节点,划分整列,首次递归选择年龄列(G=0.2667)来划分。 (4)根据划分节点的不同取值来拆分数据集为若干个子集,然后删去当前的特征列,再计算剩余特征列的信息熵。