← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 3788.j

Hebb学习强化共同活跃连接

理解等级:中级

Hebb 学习用突触前后单元的共同活动调整连接强度:两侧同时活跃时增强连接。简化更新式为 新权重 = 旧权重 + α·a·p,其中 p 是输入、a 是实际输出、α 是正的学习速度。演示:α=0.1 时,p=1、a=1 使权重加 0.1;p 或 a 有一个为 0 则不变。它可以不依赖目标标签,因此是无监督的局部学习思路;但原始规则本身并不保证权重有界、分类正确或生物机制已被完整模拟。若换成目标输出参与更新,已是带监督信号的变体,应与原始规则区分。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 1 9 . 2 神 经 网 络 算 法 实 现 · 查看原书依据

      qq 式(19-6)可以简化为: 式(19-7)定义的Hebb规则是一种无监督的学习规则,它不需要目标输出的任何相关信息。对于有监督的Hebb规则而言,算法被告知的就是网络应该做什么,而不是网络当前正在做什么,将目标输出代替为实际输出,得到: 其中,tiq是第q个目标输出向量t的第i个元素(为了简单设α的值为1)。

    参考来源

    - 位置:《智能算法导论》第 181 项《1 9 . 2 神 经 网 络 算 法 实 现/Hebb规则》(源文件:`_epub-src/EPUB/xhtml/chapter19_0004.xhtml`) - 结论依据:正文给出两侧同时激活会增强突触的表述,式(19-7)用输入与实际输出乘积调整权重;随后把目标输出代入形成有监督变体。式(19-10)的求和项重复排印,未作精确公式来源。α=0.1 的数值为补充的教学演算;正文文字另有“与两个神经元的活性之和成正比”的说法,与式(19-7)的乘积形式不一致,卡片按公式取乘积。 - 原始内容:若一条突触两侧的两个神经元同时被激活,那么,突触的强度将会增大……如果一个正的输入产生一个正的输出那么应该增加权重的值……Hebb规则是一种无监督的学习规则,它不需要目标输出的任何相关信息。