知识卡片
ID3的实现:ID3DTree核心方法
ID3 用 ID3DTree 类封装,几个方法对应框架各部件。loadDataSet 读文本文件、按行拆成数据集并存入标签集;train 深拷贝标签后调用 buildTree 生成整棵树。buildTree 是递归主体:抽取最后一列的类别标签,若全同则返回该标签,若无剩余特征则返回多数类别(由 maxCate 统计出现次数最多的标签);否则用 getBestFeat 选最优特征轴,删除该标签后对其每个取值递归建子树。
getBestFeat 对每个候选列:去重取值、按值切出子集、用占比乘子集熵累加成新熵,取 baseEntropy−newEntropy 为增益,保留增益最大的列号;computeEntropy 按标签计数算 −p·log₂p 之和;splitDataSet 按轴与值切分并删除该列。
训练时把 1024 条样本离散化后 loadDataSet、train,得到形如 {age:{1:‘yes’,…}} 的嵌套字典,转成树与手算结果一致。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第3章 决策树的发展 · 查看原书依据
3.2.1节我们使用手工计算实现了一棵决策树,接下来,我们将其转换为编码进行实现。我们定义一个ID3DTree类来封装算法。
参考来源
- 位置:《机器学习算法原理与编程实践》第3章 决策树的发展(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00013.html)
- 结论依据:原文给出 ID3DTree 类的构造与 loadDataSet、train、buildTree、maxCate、getBestFeat、computeEntropy、splitDataSet 各方法代码及训练结果字典,支撑方法职责与协作关系的解释。
- 原始内容:3.2.1节我们使用手工计算实现了一棵决策树,接下来,我们将其转换为编码进行实现。我们定义一个ID3DTree类来封装算法。