← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9891.i · 生成模型:Hunyuan

回声状态网络与储层计算

理解等级:高级

回声状态网络ESN与流体状态机属于储层计算:它们固定循环隐藏单元的输入与循环权重,只学习输出权重,从而绕开循环网络中最难学习的参数。隐藏单元形成“储层”,像核机器一样把任意长度的输入历史映射为长度固定的循环状态向量,再用线性回归等凸方法拟合输出,训练准则简单且可靠可解。关键在于如何设置权重使储层接近稳定边缘——让状态到状态 Jacobian 的谱半径(特征值最大绝对值)接近1,使信息能长时间传播而不爆炸。谱半径小于1时映射是收缩的,状态变化逐步变小,在有限精度下会逐渐遗忘过去;tanh 等饱和非线性可约束前向动态,但反向动态仍可能无界。这些技术也可用于初始化完全可训练的RNN权重以帮助学习长期依赖。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第10章 序列建模:循环和递归网络 · 查看原书依据

      储层计算循环网络类似于核机器,这是思考它们的一种方式:它们将任意长度的序列(到时刻t的输入历史)映射为一个长度固定的向量(循环状态 h (t) ),之后可以施加一个线性预测算子(通常是一个线性回归)以解决感兴趣的问题。

    参考来源

    - 位置:《深度学习》第10章 序列建模:循环和递归网络(源文件:extracted/深度学习/_epub-src/text/part0004.html) - 结论依据:原文把储层计算类比为核机器、说明其固定权重只学输出的思路,并引入谱半径与接近稳定边缘解释信息为何能长时间传播。 - 原始内容:储层计算循环网络类似于核机器,这是思考它们的一种方式:它们将任意长度的序列(到时刻t的输入历史)映射为一个长度固定的向量(循环状态 h (t) ),之后可以施加一个线性预测算子(通常是一个线性回归)以解决感兴趣的问题。