← 返回起始笔记位置

知识卡片

普通读书笔记卡 · 10033.a.1.d · 生成模型:GPT-6

N元语言模型限制预测的历史窗口

理解等级:中级

链式法则将序列概率分解为逐词条件概率的乘积。N元近似取最近 N−1个词作为条件,由语料计数估计。未见搭配的最大似然估计为零,需用平滑、插值或退避减少稀疏影响。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习观止:核心原理与实践》第20章《自然语言处理和CNN》(来源项目 book-source,`extracted/机器学习观止:核心原理与实践/_epub-src/OEBPS/Text/chapter20.xhtml`)。 - 结论依据:20.5.1的链式概率、N元模型和稀疏性。 - 原始内容:那么计算这一序列概率的理论公式如下