知识卡片
全连接ReLU与梯度下降
DNN(多层感知机)在输入层和输出层之间堆叠多个全连接隐藏层:第 l 层的输出 a^(l)=ReLU(W^(l)a^(l-1)+b^(l)),W 是权重矩阵,b 是偏置,ReLU(z)=max(0,z)。每个连接上的权重决定上一神经元对当前神经元的影响强度,偏置是与输入无关的平移项,让神经元在输入全为 0 时也能被激活。隐含层用 ReLU 而不是 sigmoid,因为它的导数在正区间恒为 1,不会像 sigmoid 那样在两端饱和到 0,梯度可以传得更深、收敛更快;负区间输出 0 带来稀疏性,计算也只是一次比较。输出层接 sigmoid 得到概率,损失用二分类交叉熵 L=-(y log ŷ+(1-y)log(1-ŷ)):y=1 时 ŷ 越接近 1 损失越小,y=0 时反之。训练用随机梯度下降,每次取 m 个样本算平均梯度,沿负梯度方向以学习率 α 更新 w 和 b。DNN 的优势是自动提取高维非线性特征,在特征与目标关系不清晰时往往强于树模型;代价是类别特征处理不好、容易维度爆炸,算力开销大,且层数一多就很难解释各特征的贡献。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 搜索系统中的主要算法 · 查看原书依据
每个连接线上都设有一个权重w,也叫关系系数,用于保证每一次信息传递的时候当前信息源对于当前神经元的影响不同。而每一个隐藏层神经元本身又带有一个偏移量b,这个偏移量表达的是一种信息增添。
参考来源
- 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第5章 搜索系统中的主要算法(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0078.html)
- 结论依据:原文解释连接权重 w 决定信息源的影响强度、偏置 b 表示额外信息增添,说明全连接层的 w 与 b 各自承担什么角色。
- 原始内容:每个连接线上都设有一个权重w,也叫关系系数,用于保证每一次信息传递的时候当前信息源对于当前神经元的影响不同。而每一个隐藏层神经元本身又带有一个偏移量b,这个偏移量表达的是一种信息增添。