知识卡片
情感分析的两条路线
情感分析是从文本中识别并抽取主观信息,判断一段文字是正面、负面还是中性。两条主流路线的区别在于知识从哪里来。
| 维度 | 词典法 | 监督学习 | | 知识来源 | 人手工写正负词表 | 从标注语料估特征权重 | | 典型做法 | 命中 brilliant、awful 后计分 | 朴素贝叶斯、最大熵、SVM | | 报告准确度 | 约 60% | 约 80% | | 成本 | 低,不需标注,可解释 | 需标注数据与训练 |
词典法为什么只有六成:它假设词的极性与上下文无关。否定(not good)、程度副词、反讽、转折都会让符号翻转;同一词在不同领域极性不同,lightweight 对笔记本是优点,对手推车未必;词表再全也覆盖不了新词与拼写变体。
监督学习为什么更强:它不靠人写规则,而是从数据里学哪些词在正面评论中出现得异常多,能自动适配语料特有的线索词。代价是必须有标注,且只在与训练集同分布的数据上可靠。
实践判断:冷启动、领域明确、需要解释时先用词典法;有标注预算、追求精度时上监督模型,并保留人工抽检。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第9章 高级分析理论与方法:文本分析 · 查看原书依据
从直观上讲,要进行情感分析,可以使用正面情绪(如brilliant、awesome、spectacular)和负面情绪(如awful、stupid、 hideous)来手动构建词汇表。相关研究指出,这种方法可以达到大约60%的准确度[35]
参考来源
- 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第9章 高级分析理论与方法:文本分析(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0019_split_007.html)
- 结论依据:9.7 节先讲手工词表法约 60% 的准确度,再讲朴素贝叶斯、最大熵、SVM 等分类器约 80% 的准确度,并给出 Pang 的影评语料规模。
- 原始内容:从直观上讲,要进行情感分析,可以使用正面情绪(如brilliant、awesome、spectacular)和负面情绪(如awful、stupid、 hideous)来手动构建词汇表。相关研究指出,这种方法可以达到大约60%的准确度[35]