知识卡片
逐词生成循环
生成式 Transformer 每次前向传播只预测下一个 token,再把它追加回提示中继续预测。长答案不是一次写完,而是许多局部选择串联出来。发散:前面生成的错误会进入后续上下文,解释了为什么早期偏差会被放大。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
《Hands-On Large Language Models 动手操作大型语言模型》第3章《Chapter 3. Looking Inside Large Language Models 第三章. 深入了解大型语言模型》