知识卡片
标记化词干与停用词
标记化(tokenize)常用空白拆分文档为单词。词干提取(stemming)把词映射到词干原形,如 Porter Stemmer(running→run),还有更激进的 Snowball、Lancaster;可能生成不存在的词(thus→thu)。词形还原(lemmatization)求语法正确的词元,更复杂昂贵,但文本分类中二者影响不大。停用词移除:去掉 is/and/has 等过于常见、无区分力的词;当用原始或归一化词频(非 tf-idf)时尤其有用,NLTK 提供英文停用词表。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 使用机器学习进行情感分析 · 查看原书依据
停用词是指在各种文本中太过常见,以致没有(或很少)含有用于区分文本所属类别的有用信息
参考来源
- 位置:《Python机器学习》第8章《8.2.4 标记文档》(源文件:`../../book-sources/extracted/Python机器学习/_epub-src/OEBPS/Text/part0111.xhtml.xhtml)
- 结论依据:原文直接支撑上述要点。
- 原始内容:停用词是指在各种文本中太过常见,以致没有(或很少)含有用于区分文本所属类别的有用信息