返回主题:深度表示与任务网络

知识卡片

普通读书笔记卡 · 3795

语言模型估计词序列概率

理解等级:初级

语言模型为词序列分配概率,并利用前文预测后续词。整句概率可拆成逐词条件概率相乘:P(w₁…wₙ)=P(w₁)·P(w₂|w₁)·…·P(wₙ|w₁…wₙ₋₁)。示例假设 P(我)=0.1、P(爱|我)=0.2、P(你|我爱)=0.5,则“我爱你”的概率为 0.1×0.2×0.5=0.01;语音解码时可用这类分数比较发音相近的候选句。高概率表示更符合训练分布中的模式,不等于语句事实正确或语法必然正确;比较模型还需考虑词表、分词和评估数据。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 2 0 . 4 . 2 基 于 深 度 学 习 算 法 的 语 言 模 型 · 查看原书依据

      20.4.2 基于深度学习算法的语言模型 20.4.2 基于深度学习算法的语言模型 语言模型简单来说就是一串词序列的概率分布。具体来说,其作用是给出一个单词序列,需要根据前面的单词预测其后每一个单词出现的可能性。语言模型能够预测一个正确语句的可能性。

    参考来源

    - 位置:《智能算法导论》第 199 项《20.4.2 基于深度学习算法的语言模型》(源文件:`_epub-src/EPUB/xhtml/chapter20_0010.xhtml`) - 结论依据:正文定义词序列概率及前文预测后词,卡片区分统计可能性与事实或语法正确性。逐词相乘的分解依据“根据前面的单词预测其后每个单词”写出,“我爱你”的概率数值为补充教学示例,非书中数据。 - 原始内容:语言模型简单来说就是一串词序列的概率分布。具体来说,其作用是给出一个单词序列,需要根据前面的单词预测其后每一个单词出现的可能性。