知识卡片
分词歧义写成概率最大化
查字典配合最大匹配法会在歧义句上出错:”学历史知识”正向切成”学历/史/知识”,反向切成”学/历史/知识”,两种规则谁也说服不了谁。概率化的提法是:给定句子 S,候选切分 A 有若干种,选使 p(A|S) 最大的那一个。直接算无从下手,用贝叶斯法则改写成 p(S|A)·p(A)/p(S);p(S) 对所有候选相同可以丢掉,p(S|A) 表示这种切分能否还原原句、通常近似为 1,于是问题只剩最大化 p(A)——这串词本身有多常见。为了能从语料估计,再加马尔可夫假设:每个词只依赖前一个词,p(A) 就变成相邻词条件概率的连乘,每个因子用”该词对相邻出现次数除以被依赖词的出现次数”即可。假设越强越容易估计,代价是长距离搭配约束被丢掉。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第1章 你必须知道的一些基础知识 · 查看原书依据
我们的数学模型表示如下:假设用户输入的句子用S表示,把S分词后可能的结果表示为A:A1, A2,…, Ak(Ai表示词),那么我们就是求条件概率p(A | S)达到最大值的那个分词结果。
参考来源
- 位置:《文本上的算法——深入浅出自然语言处理》第1章 你必须知道的一些基础知识(源文件:extracted/文本上的算法——深入浅出自然语言处理/_epub-src/OEBPS/Text/00006.html)
- 结论依据:原文这一段直接给出本卡的核心判断:「我们的数学模型表示如下:假设用户输入的句子用S表示,把S分词后可能的结果表示为A……」
- 原始内容:我们的数学模型表示如下:假设用户输入的句子用S表示,把S分词后可能的结果表示为A:A1, A2,…, Ak(Ai表示词),那么我们就是求条件概率p(A | S)达到最大值的那个分词结果。