知识卡片
长期依赖问题本质
RNN 的优势是把先前信息用到当前任务,各时刻输出不互相独立。但信息间隔决定了它能否奏效。
短间隔案例:“马儿在小溪旁喝水,一直以来全靠这条小溪滋养了。”答案“马儿”与相关信息就在同一句里、间隔很小,RNN 能获取句首信息推断。长间隔案例:“我希望有个如你一般的人,如山间清爽的风……最后只要是在我身旁。”人从头读就知道填“你”,但 RNN 从空白处向前搜索,相关信息间隔极大,随着间隔不断增大,RNN 最终丧失学习如此远连接的能力。
这就是“长期依赖”问题,书中明确指出它正是梯度消失导致的。理论上 RNN 结构可以解决(仔细挑参数即可处理最初级形式),但实践中很难挑到合适参数,所以 RNN 难以处理长距离依赖。
边界:短距离任务 RNN 仍很好用。迁移启发:判断用不用长记忆结构,先看“答案线索离目标有多远”。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 自然语言处理与循环神经网络 12.4.1 长期依赖问题 · 查看原书依据
我们通常称上述问题为“长期依赖”问题,细心的读者会发现,长期依赖问题就是由于梯度消失所导致的。理论上,RNN 的结构完全可以解决这种长期依赖问题,我们可以通过仔细挑选参数来解决处于最初级形式的这类问题。但是在实践中,我们很难挑选到合适的参数,也就是说RNN很难处理长距离的依赖。
参考来源
- 位置:《产品经理进阶:100个案例搞懂人工智能 (林中翘)》第12章《自然语言处理与循环神经网络》(源文件:`../../book-sources/extracted/产品经理进阶:100个案例搞懂人工智能 (林中翘)/_epub-src/OEBPS/text00017.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292)
- 结论依据:原文用短句与长句两例对比信息间隔,并点明长期依赖由梯度消失导致,支撑“RNN 难处理长距离依赖”的结论。
- 原始内容:我们通常称上述问题为“长期依赖”问题,细心的读者会发现,长期依赖问题就是由于梯度消失所导致的。理论上,RNN 的结构完全可以解决这种长期依赖问题,我们可以通过仔细挑选参数来解决处于最初级形式的这类问题。但是在实践中,我们很难挑选到合适的参数,也就是说RNN很难处理长距离的依赖。