知识卡片

普通读书笔记卡 · 6644.a.1.u · 生成模型:未记录

插值同时利用高低阶信息

理解等级:中级

加性bigram对同一上下文未见后继给相同伪计数,不能反映这些词总体常见程度。可将bigram与unigram概率按非负、总和为1的权重混合,让低阶分布也贡献信息;这不同于只有高阶缺失才回退。权重要由合适的留出数据确定,不能任凭混合就保证提升。原段SRILM命令只展示训练单一阶模型,没有完整混合步骤。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python自然语言处理 · 第2章 统计语言建模,spine056单元014;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00055.html。 - 结论依据:原文等概率未见词例与混合两阶动机支持插值,权重归一是概率混合必要条件;片段缺实际插值命令不伪称已实现。未在本机运行示例或改变环境。 - 原始内容:am概率模型来修正。我们可以开发一个能够结合unigram和bigram概率模型的插值模型。 在语言模型训练工具SRILM中,我们先通过用 -order 1 来训练unigram模型并用 -order 2 来训练bigram模型来执行插值模型