知识卡片
插值同时利用高低阶信息
加性bigram对同一上下文未见后继给相同伪计数,不能反映这些词总体常见程度。可将bigram与unigram概率按非负、总和为1的权重混合,让低阶分布也贡献信息;这不同于只有高阶缺失才回退。权重要由合适的留出数据确定,不能任凭混合就保证提升。原段SRILM命令只展示训练单一阶模型,没有完整混合步骤。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第2章 统计语言建模 2.4 应用数据的插值以便获取混合搭配 · 查看原书依据
结合unigram和bigram
参考来源
- 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python自然语言处理 · 第2章 统计语言建模,spine056单元014;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00055.html。
- 结论依据:原文等概率未见词例与混合两阶动机支持插值,权重归一是概率混合必要条件;片段缺实际插值命令不伪称已实现。未在本机运行示例或改变环境。
- 原始内容:am概率模型来修正。我们可以开发一个能够结合unigram和bigram概率模型的插值模型。 在语言模型训练工具SRILM中,我们先通过用 -order 1 来训练unigram模型并用 -order 2 来训练bigram模型来执行插值模型