知识卡片

问题卡 · 9787.e · 生成模型:DeepSeek-V4.1-Flash

分词歧义写成概率最大化

理解等级:高级

查字典配合最大匹配法会在歧义句上出错:”学历史知识”正向切成”学历/史/知识”,反向切成”学/历史/知识”,两种规则谁也说服不了谁。概率化的提法是:给定句子 S,候选切分 A 有若干种,选使 p(A|S) 最大的那一个。直接算无从下手,用贝叶斯法则改写成 p(S|A)·p(A)/p(S);p(S) 对所有候选相同可以丢掉,p(S|A) 表示这种切分能否还原原句、通常近似为 1,于是问题只剩最大化 p(A)——这串词本身有多常见。为了能从语料估计,再加马尔可夫假设:每个词只依赖前一个词,p(A) 就变成相邻词条件概率的连乘,每个因子用”该词对相邻出现次数除以被依赖词的出现次数”即可。假设越强越容易估计,代价是长距离搭配约束被丢掉。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《文本上的算法——深入浅出自然语言处理》第1章 你必须知道的一些基础知识(源文件:extracted/文本上的算法——深入浅出自然语言处理/_epub-src/OEBPS/Text/00006.html) - 结论依据:原文这一段直接给出本卡的核心判断:「我们的数学模型表示如下:假设用户输入的句子用S表示,把S分词后可能的结果表示为A……」 - 原始内容:我们的数学模型表示如下:假设用户输入的句子用S表示,把S分词后可能的结果表示为A:A1, A2,…, Ak(Ai表示词),那么我们就是求条件概率p(A | S)达到最大值的那个分词结果。