返回主题:深度表示与任务网络

知识卡片

普通读书笔记卡 · 3847.b.3

拼写纠正组合词频和错误概率

理解等级:中级

拼写纠正要同时考虑候选词本身常不常见,以及输入错误把它变成当前字符串的可能性:按 P(候选|输入) ∝ P(输入|候选)P(候选) 排序。只选最高词频会把罕见但正确的词误改成常见词。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据之美》第14章《自然语言语料库数据》(源文件:../程序之美系列套装(6册)团队之美、项目管理之美、架构之美、数据之美、测试之美、安全之美/_epub-src/OEBPS/Text/part0395.xhtml) - 结论依据:贝叶斯分解把候选词的语言先验与拼写噪声渠道相乘;原文用thew的候选比较说明,词频高低不能单独决定改写结果。 - 原始内容:argmaxc P(c|w)=argmaxc P(w|c)P(c)