知识卡片
向量空间模型与停用词
向量空间模型是文本分类应用最广的结构化方法:把文本表示成一个向量,每个不同的字符串——常用词、专有词、词组,乃至邮箱地址和 URL——都占一个维度。这样文本就变成机器可算的高维点,便于套用各类学习算法。代价是维度极高,中等规模文档集合也轻易达到数十万维。为节省空间和检索开销,建模前会过滤停用词,即意义模糊的常用词和语气助词,它们对分类几乎没有区分力;停用词通常人工整理成一张表,读取后按表剔除。向量空间模型虽被指出有局限,却仍是推荐系统、搜索引擎等众多技术的基础数据结构。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第2章 中文文本分类 · 查看原书依据
向量空间模型把文本表示为一个向量,该向量的每个特征表示为文本中出现的词。通常,把训练集中出现的每个不同的字符串都作为一个维度,包括常用词、专有词、词组和其他类型模式串,如电子邮件地址和URL。
参考来源
- 位置:《机器学习算法原理与编程实践》第2章 中文文本分类(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00010.html)
- 结论依据:原文说明向量空间模型把文本表示成以词为特征的向量、每个不同字符串占一维且维度很高,并指出会过滤称为停用词的常用词语,支撑本卡。
- 原始内容:向量空间模型把文本表示为一个向量,该向量的每个特征表示为文本中出现的词。通常,把训练集中出现的每个不同的字符串都作为一个维度,包括常用词、专有词、词组和其他类型模式串,如电子邮件地址和URL。