知识卡片
渗漏单元与多时间尺度
处理长期依赖的一类思路是让模型在多个时间尺度上工作:一部分单元以细粒度尺度处理小细节,另一部分以粗尺度更持久地传递远期信息。具体策略有三。其一是时间维度的跳跃连接,例如 d 延时循环连接,使梯度指数衰减的速度与 d 而非 τ 相关,从而捕获更长依赖。其二是渗漏单元,即权重接近1的线性自连接,它累积滑动平均:当 α 接近1时能记住很长过去,α 接近0时迅速遗忘;时间常数可手动固定或作为变量学习。其三是主动删除长度为1的连接、用更长连接替换,迫使单元在慢尺度运作。跳跃连接是“加边”,删除连接是“换边”,前者允许单元自行选择是否关注长期,后者则强制分工。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第10章 序列建模:循环和递归网络 · 查看原书依据
当α接近1时,滑动平均值能记住过去很长一段时间的信息,而当α接近0,关于过去的信息被迅速丢弃。线性自连接的隐藏单元可以模拟滑动平均的行为。这种隐藏单元称为渗漏单元 (leaky unit)。
参考来源
- 位置:《深度学习》第10章 序列建模:循环和递归网络(源文件:extracted/深度学习/_epub-src/text/part0004.html)
- 结论依据:原文给出滑动平均更新式并解释α接近1或0的效果,说明渗漏单元用实值α平滑调节时间尺度,并区分跳跃连接与删除连接。
- 原始内容:当α接近1时,滑动平均值能记住过去很长一段时间的信息,而当α接近0,关于过去的信息被迅速丢弃。线性自连接的隐藏单元可以模拟滑动平均的行为。这种隐藏单元称为渗漏单元 (leaky unit)。