知识卡片
文本分类:特征选择还是表示学习
传统文本分类只有两步要紧:特征选择与模型训练。词典动辄几十万维,必须先把没用的词砍掉,做法是给每个词算文档频率、卡方、信息增益或互信息,排序后按阈值截断;留下的词还要赋权,常用 tf、tf*idf、熵权重;短文本只用单个词太稀疏,得补 2-gram、3-gram。处理好之后,向量喂给 SVM、最大熵都能用。
深度学习把这一步整个省掉:句子先按 one-hot 表示,每个词 embedding 成向量,再由网络学出句子向量,接一个 softmax 输出类别。特征是模型自己学出来的,不需要人挑词,也不需要人设计权重公式。
代价是两边的失效方式不同:传统方法的效果瓶颈在特征选得对不对,可解释、可增量调试;深度方法瓶颈在数据量与算力,且中间表示难以解释。文本任务里词表大、单样本信息少,这个取舍尤其明显。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第3章 让机器可以像人一样学习(下) · 查看原书依据
可以看出,传统的文本分类影响效果的主要是特征选择和分类器这两个模块,然而在深度学习的时候,没有了人工特征提取,取而代之的用深度学习模型训练的向量来代表文本
参考来源
- 位置:《文本上的算法——深入浅出自然语言处理》第3章 让机器可以像人一样学习(下)(源文件:extracted/文本上的算法——深入浅出自然语言处理/_epub-src/OEBPS/Text/00009.html)
- 结论依据:原文这一段直接给出本卡的核心判断:「可以看出,传统的文本分类影响效果的主要是特征选择和分类器这两个模块,然而在深度学……」
- 原始内容:可以看出,传统的文本分类影响效果的主要是特征选择和分类器这两个模块,然而在深度学习的时候,没有了人工特征提取,取而代之的用深度学习模型训练的向量来代表文本