原书出处
深度学习
10 第10章 序列建模:循环和递归网络
+(1-α)ν (t) 累积一个滑动平均值µ (t) ,其中α是一个从µ (t-1) 到µ (t) 线性自连接的例子。
当α接近1时,滑动平均值能记住过去很长一段时间的信息,而当α接近0,关于过去的信息被迅速丢弃。线性自连接的隐藏单元可以模拟滑动平均的行为。这种隐藏单元称为渗漏单元 (leaky unit)。
d时间步的跳跃连接可以确保单元总能被d个时间步前的那个值影响。使用权重接近1的线性自连接是确保该单元可以访问过去值的不
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/深度学习/_epub-src/text/part0004.html
EPUB SHA-256:30b05f447b47f121324499dd200696e34be257d5cd4c4b753541b42f40a94639