知识卡片
局部典型采样求自然
核采样与 top-k 解决了“别抽到垃圾词”,却解决不了抽出来的文本乏味、千篇一律。局部典型采样从信息量入手重新定义什么叫“像人写的”。
出发点:词元的信息量等于其概率的负对数。概率越低信息越多,概率越高信息越少。人类说话既不平铺直叙,也不胡乱跳跃,而是让每个词的信息量落在该上下文下的期望值附近:太可预测显得呆板,太意外则语无伦次。
为何不用全局典型集合:模型分布与自然语言真实分布存在偏差,直接按全局典型性采样并不可靠,典型代表是祖先采样——不处理结束状态,以生成低质量文本著称。因此改为局部判据:只保留信息量接近其条件期望的候选再采样。
效果与边界:在抽象摘要与故事生成上明显减少退化重复,质量高于核采样与 top-k。但它牺牲部分“最可能”,对代码、数据抽取这类需要精确的任务未必优于低温采样,且依赖模型给出的条件概率足够可靠。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第4章 预训练目标和解码策略 · 查看原书依据
为此,Meister等引入了一种称为局部典型采样的新算法。他们提出,为了使文本被认为是自然的,每个单词的信息内容都应该接近其在给定上下文中的预期值。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第4章《预训练目标和解码策略》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter6.xhtml)
- 结论依据:原文该段以「为此,Meister等引入了一种称为局部典型采样的新算法。他们提出,…」为中心展开,本卡的核心判断「核采样与 top-k 解决了“别抽到垃圾词”,却解决不了抽出来的文本乏味、千篇一律。」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:为此,Meister等引入了一种称为局部典型采样的新算法。他们提出,为了使文本被认为是自然的,每个单词的信息内容都应该接近其在给定上下文中的预期值。