知识卡片
温度与截断采样速查
随机采样把“选最优”换成“按概率抽签”,代价是可能抽到荒谬的词,于是一整套整形手段用来收紧候选集。管线固定为:logit 向量 → 除以温度后过 softmax → 截断 → 重新归一化 → 采样。
| 手段 | 作用 | 参数含义 | 失效情形 |
|---|---|---|---|
| 温度 T | 改变分布锐度,不改排序 | 大于 1 更平更随机,趋于 0 近似贪心,等于 1 无影响 | 高温配宽截断易跑题、事实出错 |
| top-k | 只留概率最高的 k 个 | k 小可控但单调,k 大多样但易偏题 | 固定 k 不适应分布形状:尖峰时浪费名额,平坦时砍掉合理选项 |
| top-p | 取累计概率达到 p 的最小集合(核采样) | p 常用 0.8 左右 | p 过高会把长尾低概率词放进来 |
组合规则:top-p 总在 top-k 之后应用,先按 k 限制数量,再按 p 自适应收窄。top-p 的优势是集合大小随分布伸缩——模型确定时只留几个词,不确定时保留更多,比固定 k 更稳。
实践提醒:温度与截断不能互相补偿。高温加窄截断只是把错误选项概率抬高再砍掉,仍会选出局部通顺、全局跑偏的词;同一提示多次采样结果不同,是这套随机性的正常表现。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第4章 预训练目标和解码策略 · 查看原书依据
top-p采样又称核采样(Holtzman et al,2019),是自然语言处理任务中涉及文本生成的一种常用技术。该方法选择一组累积概率超过某个阈值p的词元,然后根据它们的概率随机选择其中一个。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第4章《预训练目标和解码策略》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter6.xhtml)
- 结论依据:原文该段以「top-p采样又称核采样(Holtzman et al,2019),…」为中心展开,本卡的核心判断「随机采样把“选最优”换成“按概率抽签”,代价是可能抽到荒谬的词,于是一整套整形手段用来收紧候选集。」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:top-p采样又称核采样(Holtzman et al,2019),是自然语言处理任务中涉及文本生成的一种常用技术。该方法选择一组累积概率超过某个阈值p的词元,然后根据它们的概率随机选择其中一个。