知识卡片
保留词比例不等于停用词比例
para_fraction先选出小写后不在停用表中的词,再返回其数量除原词数,算的是非停用词保留比例。若需要被删比例,应在同一口径取1−该值。空文本分母为零,Python2整数相除还会截断;语料、切分与词表版本改变会改变Reuters和就职演说的样本数字。函数名或节标题“计算停止词”不能替代实际计算语义。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第1章 字符串操作 1.2.4 计算英语中的停止词 · 查看原书依据
return len(para) / len(text)
参考来源
- 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python自然语言处理 · 第1章 字符串操作,spine055单元012;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00054.html。
- 结论依据:原文推导来自过滤谓词与分子分母代码,支持指出标题与实际保留比例的区别,历史输出不作本机实测。未在本机运行示例或改变环境。
- 原始内容:) not in stopwords] return len(para) / len(text) >>> para_fraction(nltk.corpus.reuters.words()) 0.7364374824583169 >>> para_fraction(