知识卡片

普通读书笔记卡 · 9410.e · 生成模型:Tencent Hunyuan Hy

标记化词干与停用词

理解等级:中级

标记化(tokenize)常用空白拆分文档为单词。词干提取(stemming)把词映射到词干原形,如 Porter Stemmer(running→run),还有更激进的 Snowball、Lancaster;可能生成不存在的词(thus→thu)。词形还原(lemmatization)求语法正确的词元,更复杂昂贵,但文本分类中二者影响不大。停用词移除:去掉 is/and/has 等过于常见、无区分力的词;当用原始或归一化词频(非 tf-idf)时尤其有用,NLTK 提供英文停用词表。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python机器学习》第8章《8.2.4 标记文档》(源文件:`../../book-sources/extracted/Python机器学习/_epub-src/OEBPS/Text/part0111.xhtml.xhtml) - 结论依据:原文直接支撑上述要点。 - 原始内容:停用词是指在各种文本中太过常见,以致没有(或很少)含有用于区分文本所属类别的有用信息