知识卡片
频率的频率用于估计稀有事件
Good–Turing把原计数r改成r*=(r+1)N(r+1)/N®,N®表示恰出现r次的不同类型数,区别于总次数N。未见事件总概率质量用N(1)/N估计,不是给每个未见词N(1)概率。若相邻频次缺失,直接公式会退化,因此需要后续拟合、切换和归一;它不是任意数据上必然提高任务表现的保证。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
参考来源
- 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python自然语言处理 · 第2章 统计语言建模,spine056单元009;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00055.html。
- 结论依据:原文调整计数公式与后节_prob_measure(0)给单例质量,支撑三种计数口径及缺频次问题。未在本机运行示例或改变环境。
- 原始内容:计算如下: c\ = ( c + 1) N ( c + 1) / N ( c ) c >= 1 c == 0,训练文件中的零频率的样本 = N (1)。 这里, c 是初始计数, N ( i )是用计数 i 观察到的事件类型的数量