知识卡片
Attention 突破定长向量瓶颈
encoder-decoder 的常规做法是用 RNN 把整句读成一个固定维度的 state 向量,再让 decoder 从这个向量出发逐词生成。瓶颈很明显:context 越长,压进定长向量时丢掉的信息越多,而且解码每一步看到的都是同一个向量,无法回到原句的某个片段去核对。
attention 改的是取用方式:保留 encoder 每一步的隐状态,解码第 t 个词时先算一组权重,对输入序列做加权求和得到一个随时刻变化的上下文向量,再和上一步输出一起决定当前输出。权重是一个与 context 等长的向量,数值大小表示各位置对当前时刻的重要程度,哪些位置该看、看多少都由模型学。
作者对它的定位很清楚:attention 属于信息再分配,参数与信息量并没有本质增加;从工业角度看,把先验知识(如用户属性、外部知识)注入模型这种“增加信息”的优化,可能更有价值。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第3章 让机器可以像人一样学习(下) · 查看原书依据
但是这就有一个很明显的缺点:context越大,表示成固定的向量后损失的信息就越多。而事实上,在decoder的时候,完全可以利用state向量和已经知道的context信息,而且并不是所有context信息都有用,只有部分context信息会对下一状态产生影响,这就是attention
参考来源
- 位置:《文本上的算法——深入浅出自然语言处理》第3章 让机器可以像人一样学习(下)(源文件:extracted/文本上的算法——深入浅出自然语言处理/_epub-src/OEBPS/Text/00009.html)
- 结论依据:原文这一段直接给出本卡的核心判断:「但是这就有一个很明显的缺点:context越大,表示成固定的向量后损失的信息就越……」
- 原始内容:但是这就有一个很明显的缺点:context越大,表示成固定的向量后损失的信息就越多。而事实上,在decoder的时候,完全可以利用state向量和已经知道的context信息,而且并不是所有context信息都有用,只有部分context信息会对下一状态产生影响,这就是attention