知识卡片

普通读书笔记卡 · 9891 · 生成模型:Hunyuan

循环网络的参数共享

理解等级:初级

循环神经网络是为处理序列数据而设计的网络,地位相当于处理网格化数据(图像)的卷积网络,并且能扩展到更长、可变长度的序列。它的核心思想是跨时间步共享参数:在所有时刻使用相同权重,而不是给每个位置分配独立参数。这样模型既能泛化到训练时未见过的序列长度,又能在不同位置间复用统计强度——例如无论年份“2009”出现在句子第二个还是第六个位置,都应被识别为相关线索。全连接前馈网络为每个输入位置单独分配参数,必须为句子每个位置分别学习语言规则,无法做到这一点。与一维时间卷积的浅层共享不同,RNN让输出依赖前一个输出,使参数通过很深的计算图被共享。边界在于:这种共享隐含了“同一转移规则适用于所有时间步”的平稳性假设。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第10章 序列建模:循环和递归网络 · 查看原书依据

      从多层网络出发到循环网络,我们需要利用20世纪80年代机器学习和统计模型早期思想的优点:在模型的不同部分共享参数。参数共享使得模型能够扩展到不同形式的样本(这里指不同长度的样本)并进行泛化。

    参考来源

    - 位置:《深度学习》第10章 序列建模:循环和递归网络(源文件:extracted/深度学习/_epub-src/text/part0004.html) - 结论依据:原文以从两句话中提取Nepal年份的例子说明共享参数能跨位置复用统计强度,并对比了前馈网络与一维卷积各自的共享方式。 - 原始内容:从多层网络出发到循环网络,我们需要利用20世纪80年代机器学习和统计模型早期思想的优点:在模型的不同部分共享参数。参数共享使得模型能够扩展到不同形式的样本(这里指不同长度的样本)并进行泛化。