知识卡片

普通读书笔记卡 · 10089.d · 生成模型:未记录

语言模型逐词生成

理解等级:中级

语言模型根据已有上下文输出下一个词的概率分布。可选概率最高的词,也可按分布采样;将选出的词再次输入并重复,直到结束符或长度上限。生成前还可以依次输入提示词以建立隐藏状态,再从最后一个词开始采样。采样使结果可变化,但不保证事实正确或语义连贯。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 2 处

    参考来源

    - 位置:《深度学习进阶:自然语言处理》第7章《基于 RNN 生成文本》(来源项目 book-source:extracted/深度学习进阶:自然语言处理/_epub-src/text/part0012_split_001.html) - 结论依据:正文说明生成流程、模型或实验条件。 - 原始内容:将生成的单词 say 输入语言模型,获得单词的概率分布,然后再根据这个概率分布采样下一个出现的单词 - 补充位置:《深度学习进阶:自然语言处理》第7章《基于 RNN 生成文本》7.1.3(来源项目 book-source:extracted/深度学习进阶:自然语言处理/_epub-src/text/part0012_split_001.html) - 补充依据:书中先输入提示词建立隐藏状态,再从后续词开始生成。 - 补充原文:为了做这个实验,我们按顺序向模型输入