知识卡片
N元语言模型限制预测的历史窗口
链式法则将序列概率分解为逐词条件概率的乘积。N元近似取最近 N−1个词作为条件,由语料计数估计。未见搭配的最大似然估计为零,需用平滑、插值或退避减少稀疏影响。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 自然语言处理和CNN · 查看原书依据
那么计算这一序列概率的理论公式如下
参考来源
- 位置:《机器学习观止:核心原理与实践》第20章《自然语言处理和CNN》(来源项目 book-source,`extracted/机器学习观止:核心原理与实践/_epub-src/OEBPS/Text/chapter20.xhtml`)。
- 结论依据:20.5.1的链式概率、N元模型和稀疏性。
- 原始内容:那么计算这一序列概率的理论公式如下