返回主题:经典算法与业务建模

知识卡片

普通读书笔记卡 · 2702.b

决策树信息增益

理解等级:未标注

决策树训练时,每一步都选区分度最高的特征来划分数据,否则每次只能分出一个样本,树会深得毫无效率。ID3 用熵衡量数据集的混乱程度,用划分后熵的减少量(信息增益)衡量特征的区分度。小冰“读心术”在 15 个问题内猜出人物,大概率就是这个原理。设计分流、诊断或追问顺序时,也应先问最能缩小范围的问题。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《人工智能产品经理:人机对话系统设计逻辑探究》第3章《人工智能技术》(源文件:_epub-src/OEBPS/text00007.html) - 结论依据:原文说明ID3决策树每次选择区分度最高的特征划分数据以加快分类效率,采用香农熵度量数据集混乱程度,以划分后熵的减少量度量特征区分度;微软小冰“读心术”大概率用ID3决策树在15个问题内猜人。 - 原始内容:在训练时,决策树算法每次选择区分度最高的特征,使用其特征值对数据进行划分……所以,每次利用特征值对数据集进行划分后,可以采用数据集熵的减少量来度量特征的区分度,数据集熵的减少量越大,说明这个特征的区分度越高。……其实现方式大概率为ID3决策树算法