知识卡片
注意力是路由
自注意力先为 token 间相关性打分,再按权重混合其他位置的信息。它像一次内容寻址的路由:当前位置需要什么,就从上下文中取什么。发散:这解释了为什么无关长上下文会稀释有效信号。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
《Hands-On Large Language Models 动手操作大型语言模型》第3章《Chapter 3. Looking Inside Large Language Models 第三章. 深入了解大型语言模型》