知识卡片

普通读书笔记卡 · 9792.a · 生成模型:DeepSeek-V4.1-Flash

三类特征选择度量

理解等级:中级

信息增益、卡方检验、互信息都在回答“这个特征对分类有没有用”,但尺度不同。信息增益是有该特征与无该特征时整个分类系统信息量的差,也就是不考虑任何特征时的熵减去考虑该特征后的熵,值越高特征越重要,它的优点是直接以分类效果计价。卡方检验衡量观察频数与理论频数的偏离程度,偏离大到不可能是偶然,就认为特征与类别相关,它只判断相关性、不区分方向。互信息衡量的是特征与类别的共现程度,共现越集中值越大。三者都作用于单个特征,按得分排序取前 N,因此都无法处理“两个特征讲的是同一件事”这种冗余。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第5章 你要知道的一些术语 · 查看原书依据

      某个特征的信息增益就是指有该特征和没有该特征时,为整个分类系统所能提供的信息量的差别,即,信息增益就是不考虑任何特征时文档的熵和考虑该特征后文档的熵的差值。

    参考来源

    - 位置:《文本上的算法——深入浅出自然语言处理》第5章 你要知道的一些术语(源文件:extracted/文本上的算法——深入浅出自然语言处理/_epub-src/OEBPS/Text/00012.html) - 结论依据:原文这一段直接给出本卡的核心判断:「某个特征的信息增益就是指有该特征和没有该特征时,为整个分类系统所能提供的信息量的……」 - 原始内容:某个特征的信息增益就是指有该特征和没有该特征时,为整个分类系统所能提供的信息量的差别,即,信息增益就是不考虑任何特征时文档的熵和考虑该特征后文档的熵的差值。