知识卡片
数据稀疏逼出平滑
用统计方法估计语言模型,必然撞上 Zipf 定律:词频与排名成反比,绝大多数词在语料里只出现寥寥几次。后果是大量相邻词对根本数不到,条件概率被估成 0;而整句概率是连乘,一个 0 就让所有候选的得分归零,模型失去比较能力。平滑的做法是从已观测组合的概率里匀出一部分,分给未观测组合,用可控的偏差换取零概率消失。代价是强度需要调:强度小则零概率仍在,强度大则把本就微弱的区分度抹平,等价于承认”这些组合都差不多”。也正因统计估计在稀疏数据上不可靠、且语言模型解码代价高,实际分词系统更多用序列标注模型、词与词的共现信息、词的左熵右熵以及词典来判定边界,新词发现也走类似路线。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第1章 你必须知道的一些基础知识 · 查看原书依据
Zipf定律指出:一个单词出现的频率与它在频率表里的排名(按频率从大到小)成反比。这说明对于语言中的大多数词,它们在语料中的出现是稀疏的,数据稀疏会导致所估计的分布不可靠
参考来源
- 位置:《文本上的算法——深入浅出自然语言处理》第1章 你必须知道的一些基础知识(源文件:extracted/文本上的算法——深入浅出自然语言处理/_epub-src/OEBPS/Text/00006.html)
- 结论依据:原文这一段直接给出本卡的核心判断:「Zipf定律指出:一个单词出现的频率与它在频率表里的排名(按频率从大到小)成反比……」
- 原始内容:Zipf定律指出:一个单词出现的频率与它在频率表里的排名(按频率从大到小)成反比。这说明对于语言中的大多数词,它们在语料中的出现是稀疏的,数据稀疏会导致所估计的分布不可靠