原书出处
智能算法导论
181 1 9 . 2 神 经 网 络 算 法 实 现
问题。当训练样本线性可分时,感知器法则可以成功找到一个权向量,但是样本非线性时将不能收敛。Delta法则解决了这个问题。
核心思想为根据神经元的实际输出与期望输出间的差别来调整连接权,其数学表示如下: 其中,Wij表示神经元j到神经元i的连接权重,di是神经元i的期望输出,a为学习速率常数,yi是神经元的实际输出,xj表示神经元j状态, Detla规则简单来讲就是:若神经元实际输出比期望输出大,则减少输入为正的连接的权重,增大所有输入为负的连接的权重。反之,则增大所有输入为正的连接权的权重,减少所有输入为负的连接权的权重。
(2)Dropout规则。通常神经网络在训练时采用先将神经网络进行正向传播,后再将误差进行反向传播,从而更新网络权值。
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/智能算法导论/_epub-src/EPUB/xhtml/chapter19_0004.xhtml
EPUB SHA-256:18e2691ea1badb55bab48f10fe7172f9d6a95bc5207bb2e234686cbbaff3641d