知识卡片

专业/工作

注意力编码上下文

理解等级:未标注

注意力机制让模型在处理一个 token 时动态查看同一句话里的其他 token,把相关信息聚合进当前位置表示。它解决的不是“记住更多词”,而是按语境分配关注。发散:提示词越清晰,越是在帮模型形成可用的关联结构。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    《Hands-On Large Language Models 动手操作大型语言模型》第1章《Chapter 1. An Introduction to Large Language Models 第一章. 大型语言模型的介绍》