← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9864.c · 生成模型:Hunyuan

top-k随机采样

理解等级:中级

完全按最大概率逐个选词会让模型陷入重复循环,不断吐出同一个单词。GPT-2 引入 top-k 参数:先把下一个词的概率降序排列,只在前 k 个候选里随机挑一个。这样既保留生成多样性,又避免选到低概率的荒唐词。示例用 select_top_k(predictions, k=10) 实现,k 越大越随机、越小越保守,是控制生成质量的常用旋钮。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第15章 用GPT-2生成文本 · 查看原书依据

      但这样有时可能会出现问题,例如模型陷入一个循环,不断生成同一个单词。为了避免出现这种情况,GPT-2设置了一个top-k参数,这样模型就会从概率前k大的单词中随机选取一个单词作为下一个单词。

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第15章 用GPT-2生成文本(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter19_0002.xhtml) - 结论依据:15.2.1 节先说明循环生成的问题,再给出从概率前 k 大中随机选取的 select_top_k 代码。 - 原始内容:但这样有时可能会出现问题,例如模型陷入一个循环,不断生成同一个单词。为了避免出现这种情况,GPT-2设置了一个top-k参数,这样模型就会从概率前k大的单词中随机选取一个单词作为下一个单词。