← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9891.j · 生成模型:Hunyuan

渗漏单元与多时间尺度

理解等级:中级

处理长期依赖的一类思路是让模型在多个时间尺度上工作:一部分单元以细粒度尺度处理小细节,另一部分以粗尺度更持久地传递远期信息。具体策略有三。其一是时间维度的跳跃连接,例如 d 延时循环连接,使梯度指数衰减的速度与 d 而非 τ 相关,从而捕获更长依赖。其二是渗漏单元,即权重接近1的线性自连接,它累积滑动平均:当 α 接近1时能记住很长过去,α 接近0时迅速遗忘;时间常数可手动固定或作为变量学习。其三是主动删除长度为1的连接、用更长连接替换,迫使单元在慢尺度运作。跳跃连接是“加边”,删除连接是“换边”,前者允许单元自行选择是否关注长期,后者则强制分工。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深度学习》第10章 序列建模:循环和递归网络(源文件:extracted/深度学习/_epub-src/text/part0004.html) - 结论依据:原文给出滑动平均更新式并解释α接近1或0的效果,说明渗漏单元用实值α平滑调节时间尺度,并区分跳跃连接与删除连接。 - 原始内容:当α接近1时,滑动平均值能记住过去很长一段时间的信息,而当α接近0,关于过去的信息被迅速丢弃。线性自连接的隐藏单元可以模拟滑动平均的行为。这种隐藏单元称为渗漏单元 (leaky unit)。