返回主题:深度表示与任务网络

知识卡片

普通读书笔记卡 · 2827.d

RNN处理序列

理解等级:未标注

传统神经网络(包括 CNN)的各个输入输出彼此独立,而“我是中国人,我的母语是_”这类任务需要依赖前文。循环神经网络引入“记忆”:每个时刻结合当前输入和上一时刻的隐藏状态给出输出,并把状态传到下一步,所以最擅长处理序列数据。它的难题是长期依赖,以及梯度爆炸、梯度消失,最常用的解决办法是改用 LSTM 或门控循环单元。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《分布式机器学习实战》第7章《分布式深度学习实战》(源文件:_epub-src/OEBPS/Text/chapter7.xhtml) - 结论依据:原文说明传统神经网络中输入输出互相独立,但有些任务后续输出依赖之前内容,RNN引入“记忆”,通过隐藏状态存储之前时间步的信息;每个时刻结合输入和当前状态给出输出,最擅长解决数据序列相关的问题;但带来长期依赖问题及梯度爆炸、梯度消失,最流行的做法是使用LSTM和GRU。 - 原始内容:所以RNN引入“记忆”这一概念,也就是输出需要依赖之前的输入序列,并把关键输入记住。……但同时这也带来了更大的技术挑战——长期依赖(long-term dependencies)问题。