知识卡片

普通读书笔记卡 · 9839.j · 生成模型:Hunyuan

向量空间模型与停用词

理解等级:中级

向量空间模型是文本分类应用最广的结构化方法:把文本表示成一个向量,每个不同的字符串——常用词、专有词、词组,乃至邮箱地址和 URL——都占一个维度。这样文本就变成机器可算的高维点,便于套用各类学习算法。代价是维度极高,中等规模文档集合也轻易达到数十万维。为节省空间和检索开销,建模前会过滤停用词,即意义模糊的常用词和语气助词,它们对分类几乎没有区分力;停用词通常人工整理成一张表,读取后按表剔除。向量空间模型虽被指出有局限,却仍是推荐系统、搜索引擎等众多技术的基础数据结构。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第2章 中文文本分类 · 查看原书依据

      向量空间模型把文本表示为一个向量,该向量的每个特征表示为文本中出现的词。通常,把训练集中出现的每个不同的字符串都作为一个维度,包括常用词、专有词、词组和其他类型模式串,如电子邮件地址和URL。

    参考来源

    - 位置:《机器学习算法原理与编程实践》第2章 中文文本分类(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00010.html) - 结论依据:原文说明向量空间模型把文本表示成以词为特征的向量、每个不同字符串占一维且维度很高,并指出会过滤称为停用词的常用词语,支撑本卡。 - 原始内容:向量空间模型把文本表示为一个向量,该向量的每个特征表示为文本中出现的词。通常,把训练集中出现的每个不同的字符串都作为一个维度,包括常用词、专有词、词组和其他类型模式串,如电子邮件地址和URL。