知识卡片
约束采样过滤无效token
约束采样在生成每一步按语法或规则过滤候选token,再从有效集合中采样。它把部分格式约束落实到生成过程,而非完全依赖提示或事后修复。规则需要与当前前缀和目标格式相适应,也会带来实现与延迟成本;语法正确仍不能证明事实正确。
结构图:
flowchart TD
A[模型生成词表logit] --> C[按当前前缀与语法过滤]
B[目标格式的约束规则] --> C
C --> D[仅保留允许的候选]
D --> E[归一化并采样下一token]
E --> F[更新已生成前缀]
F --> C
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 理解基础模型
原书出处 · 1 处
- · 查看原书依据
约束采样会过滤这个logit向量,仅保留满足约束条件的token,然后从这些有效的token中进行采样。该过程如图2-21所示。
参考来源
- 位置:《AI工程:大模型应用开发实战》第2章《理解基础模型》(来源项目:a19c7933-4eda-4176-aebd-30fe7e1ad292;源文件:extracted/AI工程:大模型应用开发实战/_epub-src/EPUB/xhtml/Section010.xhtml)
- 结论依据:原文定义、条件、机制或比较支持上述说明,案例数据限于原书语境。
- 原始内容:约束采样会过滤这个logit向量,仅保留满足约束条件的token,然后从这些有效的token中进行采样。该过程如图2-21所示。