知识卡片

普通读书笔记卡 · 9893.h · 生成模型:Hunyuan

n-gram与平滑回退

理解等级:中级

n-gram语言模型用链式法则把长序列概率分解为给定前n-1个标记时第n个标记的条件概率之积,最大似然估计只需统计各n-gram在训练集中的出现次数,因此训练极其简单。它的根本缺陷是数据稀疏:测试集中出现的元组在训练集里计数为零时,会导致比率未定义或对数似然为负无穷。平滑技术把概率质量从已观察元组转移到未观察元组,基本做法是给所有可能的下一个符号加上非零质量,等价于带均匀或Dirichlet先验的贝叶斯推断。回退方法则在上下文频率不足时改用低阶n-gram,逐步增加阶数直到估计足够可靠。由于任意两个不同词在one-hot空间中距离相同,n-gram难以从“邻居”泛化,必须借助词类或分布式表示来共享统计强度。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第12章 应用 · 查看原书依据

      为避免这种灾难性的后果,大多数n-gram模型采用某种形式的平滑 (smoothing)。平滑技术将概率质量从观察到的元组转移到类似的未观察到的元组。

    参考来源

    - 位置:《深度学习》第12章 应用(源文件:extracted/深度学习/_epub-src/text/part0005_split_000.html) - 结论依据:12.4.1推导了n-gram分解、指出零计数灾难并给出平滑与回退,随后说明其维数灾难与one-hot距离问题。 - 原始内容:为避免这种灾难性的后果,大多数n-gram模型采用某种形式的平滑 (smoothing)。平滑技术将概率质量从观察到的元组转移到类似的未观察到的元组。