知识卡片
外显记忆与神经图灵机
神经网络擅长存储隐性知识,却难以精确记住具体事实,因为随机梯度下降需要反复提供同一输入,且即使如此也不会被精确存储。记忆网络与神经图灵机NTM因此引入外显工作存储,使系统能像人类一样有意地快速存储、检索事实并据此顺序推理。NTM无需明确监督即可学习读写记忆单元,通过基于内容的软注意机制实现端到端训练。为避免精确整数地址难以优化,它同时对多个单元读写(读取时取加权平均、写入时分别修改),用 softmax 产生集中在少数单元的系数,从而保持非零梯度可用下降法优化。记忆单元存向量而非标量,支持按模式匹配的基于内容寻址与按位置的基于位置寻址。若单元内容多数时间步被复制(不被遗忘),信息与梯度就能长时间传播而不消失或爆炸。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第10章 序列建模:循环和递归网络 · 查看原书依据
神经网络擅长存储隐性知识,但是它们很难记住事实。被存储在神经网络参数中之前,随机梯度下降需要多次提供相同的输入,即使如此,该输入也不会被特别精确地存储。
参考来源
- 位置:《深度学习》第10章 序列建模:循环和递归网络(源文件:extracted/深度学习/_epub-src/text/part0004.html)
- 结论依据:原文指出神经网络难记事实与缺乏工作存储的推测,说明NTM用软寻址可微读写、向量值单元的基于内容寻址,以及信息长时间传播的条件。
- 原始内容:神经网络擅长存储隐性知识,但是它们很难记住事实。被存储在神经网络参数中之前,随机梯度下降需要多次提供相同的输入,即使如此,该输入也不会被特别精确地存储。