← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 3788.c.1

Delta规则按输出误差调权

理解等级:中级

Delta 规则利用目标输出与实际输出之差调整连接权重:新权重 = 旧权重 + a·(d−y)·x,d 为期望输出,y 为实际输出,x 为该连接的输入,a 为学习速率。误差 d−y 的正负决定增减,输入和学习率决定幅度。演示:a=0.5、d=1、y=0.6、x=1 时权重加 0.2;x=0 的连接不变。它把监督信号直接用于学习,与不需要目标输出的 [[Hebb学习强化共同活跃连接]] 不同。规则改变的是参数更新方式,并不会使单个线性单元自动获得非线性表达能力;原书称其可解决单层感知器不能解决的非线性问题,需补充网络结构等前提。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 1 9 . 2 神 经 网 络 算 法 实 现 · 查看原书依据

      核心思想为根据神经元的实际输出与期望输出间的差别来调整连接权,其数学表示如下: 其中,Wij表示神经元j到神经元i的连接权重,di是神经元i的期望输出,a为学习速率常数,yi是神经元的实际输出,xj表示神经元j状态, Detla规则简单来讲就是:若神经元实际输出比期望输出大,则减少输入为正的连接的权重,增大所有输入为负的连接的权重。反之,则增大所有输入为正的连接权的权重,减少所有输入为负的连接权的权重。

    参考来源

    - 位置:《智能算法导论》第 181 项《1 9 . 2 神 经 网 络 算 法 实 现/Delta规则》(源文件:`_epub-src/EPUB/xhtml/chapter19_0004.xhtml`) - 结论依据:正文给出以期望与实际输出差调整权重的描述,式(19-43)含误差、输入和学习率;但单一线性单元的表达边界不因换更新式而消失。a=0.5 等数值为依据式(19-43)补充的教学演算,非书中数据。 - 原始内容:核心思想为根据神经元的实际输出与期望输出间的差别来调整连接权……若神经元实际输出比期望输出大,则减少输入为正的连接的权重,增大所有输入为负的连接的权重。