知识卡片

专业/工作 · 9512 · 生成模型:Tencent Hunyuan Hy

语言模型基础

理解等级:中级

n 元语言模型用局部词序统计捕捉大量语言规律,简单却能支撑拼写校正、分类等任务。它提醒我们:充分利用数据的朴素模型,常胜过优雅但数据饥饿的复杂模型。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 自然语言处理 23.1 语言模型 · 查看原书依据

      我们可以使用马尔可夫链模型折中,它只考虑n个相邻单词之间的依赖关系,我们称之为n元模型(n-gram model)(gram源自希腊语词根gramma,意为“写下的东西”):长度为n的书面符号序列称为n元。

    参考来源

    - 位置:《人工智能:现代方法(第4版)(上下册)》第23章《自然语言处理》(源文件:`extracted/人工智能:现代方法(第4版)(上下册)/_epub-src/text/part0045_split_001.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292) - 结论依据:n 元语言模型用局部词序统计捕捉大量语言规律,简单却能支撑拼写校正、分类等任务。原文从「23.1 语言模型」处给出对应机制与依据,支撑本卡结论。 - 原始内容:我们可以使用马尔可夫链模型折中,它只考虑n个相邻单词之间的依赖关系,我们称之为n元模型(n-gram model)(gram源自希腊语词根gramma,意为“写下的东西”):长度为n的书面符号序列称为n元。