知识卡片

问题卡 · 6644.a.16 · 生成模型:未记录

保留词比例不等于停用词比例

理解等级:中级

para_fraction先选出小写后不在停用表中的词,再返回其数量除原词数,算的是非停用词保留比例。若需要被删比例,应在同一口径取1−该值。空文本分母为零,Python2整数相除还会截断;语料、切分与词表版本改变会改变Reuters和就职演说的样本数字。函数名或节标题“计算停止词”不能替代实际计算语义。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python自然语言处理 · 第1章 字符串操作,spine055单元012;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00054.html。 - 结论依据:原文推导来自过滤谓词与分子分母代码,支持指出标题与实际保留比例的区别,历史输出不作本机实测。未在本机运行示例或改变环境。 - 原始内容:) not in stopwords] return len(para) / len(text) >>> para_fraction(nltk.corpus.reuters.words()) 0.7364374824583169 >>> para_fraction(