知识卡片
排名频次可近似呈反比
Zipf经验规律描述在足够有代表性的自然语言语料中,词频随排名大致按反比衰减,少数常见词很高、许多词很低。双对数图接近负斜率直线是可观察形态,不是每个小样本每一名都严格等于N/r;词型多集中在低频尾部,也不意味着尾部必占总词次多数。用于估算时要说明语料和近似假设。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- · 查看原书依据
Zipf法则(http://bit.ly/1a1mCUD)是自然语言中著名的经验法则,该法则认为一个语料库中单词的频率和它在频率表中的排序成反比。这句话的意思是如果最常出现的词在语料库中占整个词的N%,那么第二高频率的词会占(N/2)%,第三高频率的词占(N/3)%,依此类推。当制作成图后,这样的分布就像图4-4中紧贴每个坐标轴行走的曲线那样(即便是对一个小
参考来源
- 位置:《社交网站的数据挖掘与分析(原书第2版)》第4章《4.4.1 自然语言工具包概述》(spine87;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0076.html;u064-ch04-020)。
- 结论依据:原文在“Zipf法则”附近的定义、例子或代码支撑本卡核心说明:Zipf经验规律描述在足够有代表性的自然语言语料中,词频随排名大致按反比衰减,少数常见词很高、许多词很低。边界按已读前提解释;示例未执行。
- 原始内容:Zipf法则(http://bit.ly/1a1mCUD)是自然语言中著名的经验法则,该法则认为一个语料库中单词的频率和它在频率表中的排序成反比。这句话的意思是如果最常出现的词在语料库中占整个词的N%,那么第二高频率的词会占(N/2)%,第三高频率的词占(N/3)%,依此类推。当制作成图后,这样的分布就像图4-4中紧贴每个坐标轴行走的曲线那样(即便是对一个小