知识卡片

结构图卡 · 6479.o.7.b.1.d · 生成模型:GPT-6

约束采样过滤无效token

理解等级:中级

约束采样在生成每一步按语法或规则过滤候选token,再从有效集合中采样。它把部分格式约束落实到生成过程,而非完全依赖提示或事后修复。规则需要与当前前缀和目标格式相适应,也会带来实现与延迟成本;语法正确仍不能证明事实正确。

结构图:

flowchart TD
 A[模型生成词表logit] --> C[按当前前缀与语法过滤]
 B[目标格式的约束规则] --> C
 C --> D[仅保留允许的候选]
 D --> E[归一化并采样下一token]
 E --> F[更新已生成前缀]
 F --> C
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • · 查看原书依据

      约束采样会过滤这个logit向量,仅保留满足约束条件的token,然后从这些有效的token中进行采样。该过程如图2-21所示。

    参考来源

    - 位置:《AI工程:大模型应用开发实战》第2章《理解基础模型》(来源项目:a19c7933-4eda-4176-aebd-30fe7e1ad292;源文件:extracted/AI工程:大模型应用开发实战/_epub-src/EPUB/xhtml/Section010.xhtml) - 结论依据:原文定义、条件、机制或比较支持上述说明,案例数据限于原书语境。 - 原始内容:约束采样会过滤这个logit向量,仅保留满足约束条件的token,然后从这些有效的token中进行采样。该过程如图2-21所示。