知识卡片
词频秩关系是经验分布
Zipf型关系把词按频率降序编号为秩r,频率近似随1/r下降,呈现少数常见词与大量稀有词。它是语料与统计口径相关的经验规律,不是每个文档每个词都精确服从的定理。大小写、分词、样本规模与是否包含标点会改变曲线,单幅log-log近直线也不能证明普遍成立。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
参考来源
- 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python自然语言处理 · 第1章 字符串操作,spine055单元021;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00054.html。
- 结论依据:原文给频率与排名反比定义和Gutenberg作图案例;由有限案例不能推出所有文档均适用。未在本机运行示例或改变环境。
- 原始内容:符出现的频率与其在排序列表中的排名或位置成反比。该定律描述了标识符在语言中是如何分布的:一些标识符非常频繁地出现,另一些出现频率较低,还有一些基本上不出现。 让我们来看看NLTK中用于获取基于Zipf定律的双对数图(