神经网络、损失函数与误差反向传播法

神经网络模拟大脑神经元互相传递信号的结构，分输入层、中间层（隐层）、输出层，数据从输入层经过中间层的加权计算，最终在输出层产生结果——这里的”权重”就是神经网络真正在学习的对象：把预测输出和正确答案之间的差距定义成一个函数（损失函数/误差函数），学习的目标就是不断调整权重让这个损失函数的值变小。问题是权重不只存在于中间层和输出层之间，输入层到中间层之间也有权重，甚至可能有多个中间层——误差反向传播法解决的正是”怎么把输出端算出的误差，一路倒着传回去，分摊给每一层每一个权重该调整多少”这个问题：从输出层往中间层、再往输入层反向传递误差，逐层修正权重。这套机制的精妙之处在于，它把一个”多层嵌套函数该往哪个方向调整”的复杂问题，转化成了链式的局部误差传递，让深层网络的训练在计算上变得可行。