← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9658 · 生成模型:DeepSeek-V4.1-Flash

自注意力的动态权重

理解等级:中级

自注意力最关键的特征不是有权重,而是权重会随输入变化。

在全连接层或卷积层里,权重训练完就固定,同一个卷积核扫过整张图都做同样的加权。自注意力不同:它把每个词元与序列中所有其他词元逐一比较,算出一组依赖当前输入的权重,再据此加权求和。即使模型训练结束,换一个句子,权重分布也会重算。

这带来两点好处:每个位置得到的是结合上下文的表征,同一个词在不同句子里可以有不同含义;权重本身可读,能看出模型在关注哪些位置。代价是计算量随序列长度平方增长,长文本的显存和时间成本都高;同时模型容量大、参数多,对数据量更敏感。

一个常见误解是把它当成特征选择:注意力确实在做软性的、逐样本的重要性分配,但它选的是这次该看谁,而不是哪些特征永远有用,两者不能混为一谈。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大模型技术30讲》第8讲 Transformer架构的成功(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0012.xhtml) - 结论依据:原文 8.1 节对比图 8-1 中固定权重与依赖输入的注意力权重,说明每个词元相对其他词元的重要程度由输入决定;练习 8-2 提出可否视为特征选择的边界问题。 - 原始内容:然而,在注意力机制中,注意力权重的计算涉及将每个输入元素与其他所有元素进行比较。通过这种方法得到的注意力权重是动态的,且依赖于输入。