知识卡片

结构图卡 · 9549.f · 生成模型:DeepSeek-V4.1-Flash

注意力均值方差量化

理解等级:高级

注意力量化分析把“模型在看哪里”变成可比较的数字。做法是在前向时让每个编码器块把注意力权重一并返回,而不是只返回特征;收集到各层、各头的权重矩阵后,对每一层分别统计均值与方差:均值反映该层注意力权重的整体水平,方差反映权重分布是集中还是分散。逐层对比这两组数字,就能看出浅层与深层对图像区域的关注模式是否变化——某些层权重较平均,另一些层则明显偏向少数块。整个过程只读取中间结果,不修改参数,也不影响预测,属于对已训练模型的事后解释手段。原文按层依次输出均值与方差,正是为了让这种层间差异可以直接读出,见[[多头并行多角度特征]]。

结构图:

graph TD
  A[图像前向一次] --> B[每层返回注意力权重]
  B --> C[逐层统计均值]
  C --> D[逐层统计方差]
  D --> E[比较各层分布]
  E --> F[解释关注区域]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • ViT模型 · 查看原书依据

      在ViT模型的注意力严格量化分析中,主要通过对每层注意力权重的均值、方差等统计指标的计算,来揭示模型在各层对图像不同区域的关注程度。此量化分析可以帮助理解模型在不同深度对图像信息的聚焦程度,为模型的优化和解释提供数据支撑。

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第4章《ViT模型》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter008_0004.xhtml) - 结论依据:原文说明量化分析通过计算每层注意力权重的均值、方差等统计指标,揭示模型在不同深度对图像区域的关注程度。 - 原始内容:在ViT模型的注意力严格量化分析中,主要通过对每层注意力权重的均值、方差等统计指标的计算,来揭示模型在各层对图像不同区域的关注程度。此量化分析可以帮助理解模型在不同深度对图像信息的聚焦程度,为模型的优化和解释提供数据支撑。