知识卡片
拼写纠正组合词频和错误概率
拼写纠正要同时考虑候选词本身常不常见,以及输入错误把它变成当前字符串的可能性:按 P(候选|输入) ∝ P(输入|候选)P(候选) 排序。只选最高词频会把罕见但正确的词误改成常见词。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第14章 自然语言语料库数据 · 查看原书依据
argmaxc P(c|w)=argmaxc P(w|c)P(c)
参考来源
- 位置:《数据之美》第14章《自然语言语料库数据》(源文件:../程序之美系列套装(6册)团队之美、项目管理之美、架构之美、数据之美、测试之美、安全之美/_epub-src/OEBPS/Text/part0395.xhtml)
- 结论依据:贝叶斯分解把候选词的语言先验与拼写噪声渠道相乘;原文用thew的候选比较说明,词频高低不能单独决定改写结果。
- 原始内容:argmaxc P(c|w)=argmaxc P(w|c)P(c)