知识卡片
注意力编码上下文
注意力机制让模型在处理一个 token 时动态查看同一句话里的其他 token,把相关信息聚合进当前位置表示。它解决的不是“记住更多词”,而是按语境分配关注。发散:提示词越清晰,越是在帮模型形成可用的关联结构。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
《Hands-On Large Language Models 动手操作大型语言模型》第1章《Chapter 1. An Introduction to Large Language Models 第一章. 大型语言模型的介绍》