知识卡片
Ngram使用有限上下文
语言模型把词序列的联合概率分解为每一步条件概率的乘积。N-gram 用最近 N−1 个词近似完整历史:例如二元模型用 P(wₜ|wₜ₋₁) 预测下一个词,将各步概率相乘即可评价任意长度的序列。较短上下文便于估计但会遗漏远距离依赖,较长上下文则更容易遇到稀疏组合;平滑方法可缓解未见组合的零概率。原书公式 15-9 漏写了各时间步的乘积,也不应把“只看两个词的上下文”理解为只能评价两个词长的句子。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- LSTM长短记,长序依赖可追忆 15.9.1 NGram模型 · 查看原书依据
第n个词出现的概率只和前面有限n-1个词相关
参考来源
- 位置:《深度学习之美:AI时代的数据处理与最佳实践》第15章《LSTM长短记,长序依赖可追忆》,15.9.1 NGram模型(book-source:extracted/深度学习之美:AI时代的数据处理与最佳实践/_epub-src/OEBPS/Text/chapter20_0009.xhtml#txt015_20)
- 结论依据:原文公式 15-8 说明联合概率分解,文字说明有限上下文假设;卡片纠正后续公式和句长的表述。
- 原始内容:该模型首先基于马尔科夫假设,即假设在一段文本序列中,第n个词出现的概率只和前面有限n-1个词相关,而与其他词无关。