知识卡片
情感分类器的评估与迁移
流程:标注语料按 80⁄20 分成训练集与测试集,训练集应显著大于测试集,测试集的标签对分类器隐藏;训练时模型学每个特征对结果的影响,测试时逐条预测,最后与真值比对。
一个真实结果:NLTK 的朴素贝叶斯在 1600 条训练、400 条测试的影评上准确率 73.5%,最有信息量的特征是 outstanding、insulting、vulnerable 这类极性词。但混淆矩阵是 195 正判、5 漏判、101 误判正、99 正判负:召回率 195⁄200 约 0.975,准确率 195⁄296 约 0.659。它把大量负面评论判成了正面。
为什么要两个指标一起看:召回高只说明正类几乎都抓到,准确率低说明抓进来的很多是错的;单看准确率会被类别不平衡掩盖。混淆矩阵的作用就是把两类错误分开呈现。
迁移边界:特征极性依赖领域,lightweight 对笔记本是优点,对手推车不是;训练集与测试集分布必须相似,影评上训练的模型不能直接用于推文。另外绝对情感比例没有意义,要建立基线再比较。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第9章 高级分析理论与方法:文本分析 · 查看原书依据
因为一个良好的分类器的混淆矩阵应该具有较大TP和TN,并且FP和FN在理想情况下接近于0,由此推断,这个朴素贝叶斯分类器有许多伪阴性,它在这个测试集上的性能一般。
参考来源
- 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第9章 高级分析理论与方法:文本分析(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0019_split_007.html)
- 结论依据:9.7 节给出 80/20 划分、73.5% 准确率、表 9.7 的混淆矩阵、据此算出的准确率与召回率,以及特征随领域变化、训练测试需同分布的提醒。
- 原始内容:因为一个良好的分类器的混淆矩阵应该具有较大TP和TN,并且FP和FN在理想情况下接近于0,由此推断,这个朴素贝叶斯分类器有许多伪阴性,它在这个测试集上的性能一般。