← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9790.h · 生成模型:DeepSeek-V4.1-Flash

Attention 突破定长向量瓶颈

理解等级:高级

encoder-decoder 的常规做法是用 RNN 把整句读成一个固定维度的 state 向量,再让 decoder 从这个向量出发逐词生成。瓶颈很明显:context 越长,压进定长向量时丢掉的信息越多,而且解码每一步看到的都是同一个向量,无法回到原句的某个片段去核对。

attention 改的是取用方式:保留 encoder 每一步的隐状态,解码第 t 个词时先算一组权重,对输入序列做加权求和得到一个随时刻变化的上下文向量,再和上一步输出一起决定当前输出。权重是一个与 context 等长的向量,数值大小表示各位置对当前时刻的重要程度,哪些位置该看、看多少都由模型学。

作者对它的定位很清楚:attention 属于信息再分配,参数与信息量并没有本质增加;从工业角度看,把先验知识(如用户属性、外部知识)注入模型这种“增加信息”的优化,可能更有价值。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第3章 让机器可以像人一样学习(下) · 查看原书依据

      但是这就有一个很明显的缺点:context越大,表示成固定的向量后损失的信息就越多。而事实上,在decoder的时候,完全可以利用state向量和已经知道的context信息,而且并不是所有context信息都有用,只有部分context信息会对下一状态产生影响,这就是attention

    参考来源

    - 位置:《文本上的算法——深入浅出自然语言处理》第3章 让机器可以像人一样学习(下)(源文件:extracted/文本上的算法——深入浅出自然语言处理/_epub-src/OEBPS/Text/00009.html) - 结论依据:原文这一段直接给出本卡的核心判断:「但是这就有一个很明显的缺点:context越大,表示成固定的向量后损失的信息就越……」 - 原始内容:但是这就有一个很明显的缺点:context越大,表示成固定的向量后损失的信息就越多。而事实上,在decoder的时候,完全可以利用state向量和已经知道的context信息,而且并不是所有context信息都有用,只有部分context信息会对下一状态产生影响,这就是attention