知识卡片
决策树信息增益
决策树训练时,每一步都选区分度最高的特征来划分数据,否则每次只能分出一个样本,树会深得毫无效率。ID3 用熵衡量数据集的混乱程度,用划分后熵的减少量(信息增益)衡量特征的区分度。小冰“读心术”在 15 个问题内猜出人物,大概率就是这个原理。设计分流、诊断或追问顺序时,也应先问最能缩小范围的问题。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《人工智能产品经理:人机对话系统设计逻辑探究》第3章《人工智能技术》(源文件:_epub-src/OEBPS/text00007.html)
- 结论依据:原文说明ID3决策树每次选择区分度最高的特征划分数据以加快分类效率,采用香农熵度量数据集混乱程度,以划分后熵的减少量度量特征区分度;微软小冰“读心术”大概率用ID3决策树在15个问题内猜人。
- 原始内容:在训练时,决策树算法每次选择区分度最高的特征,使用其特征值对数据进行划分……所以,每次利用特征值对数据集进行划分后,可以采用数据集熵的减少量来度量特征的区分度,数据集熵的减少量越大,说明这个特征的区分度越高。……其实现方式大概率为ID3决策树算法