知识卡片
top-k随机采样
完全按最大概率逐个选词会让模型陷入重复循环,不断吐出同一个单词。GPT-2 引入 top-k 参数:先把下一个词的概率降序排列,只在前 k 个候选里随机挑一个。这样既保留生成多样性,又避免选到低概率的荒唐词。示例用 select_top_k(predictions, k=10) 实现,k 越大越随机、越小越保守,是控制生成质量的常用旋钮。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第15章 用GPT-2生成文本 · 查看原书依据
但这样有时可能会出现问题,例如模型陷入一个循环,不断生成同一个单词。为了避免出现这种情况,GPT-2设置了一个top-k参数,这样模型就会从概率前k大的单词中随机选取一个单词作为下一个单词。
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第15章 用GPT-2生成文本(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter19_0002.xhtml)
- 结论依据:15.2.1 节先说明循环生成的问题,再给出从概率前 k 大中随机选取的 select_top_k 代码。
- 原始内容:但这样有时可能会出现问题,例如模型陷入一个循环,不断生成同一个单词。为了避免出现这种情况,GPT-2设置了一个top-k参数,这样模型就会从概率前k大的单词中随机选取一个单词作为下一个单词。