知识卡片
logit与sigmoid输出单元
对二值输出,最大似然的做法是用 sigmoid 单元参数化 Bernoulli 分布:线性层先算出 z(称为 logit),sigmoid 再把 z 转成 (0,1) 区间的概率。若改用线性单元加阈值截断,输出落在单位区间外时对所有参数的梯度都为 0,学习算法就失去改进方向。sigmoid 配合负对数似然时,代价可写成 softplus 形式,只有在模型已经答对时才饱和;答错时梯度渐近趋向 sign(z),完全不收缩,因此能快速纠正错误的 z。若用均方误差之类损失,sigmoid 饱和时无论对错梯度都消失,学习停滞。边界:实现时应把负对数似然写成 z 的函数而不是先算概率再取 log,以免 sigmoid 下溢到零后取对数得到负无穷。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第6章 深度前馈网络 · 查看原书依据
当z的符号错误时,softplus函数的变量(1−2y)z可以简化为|z|。当|z|变得很大并且z的符号错误时,softplus函数渐近地趋向于它的变量|z|。
参考来源
- 位置:《深度学习》第6章 深度前馈网络(源文件:extracted/深度学习/_epub-src/text/part0002.html)
- 结论依据:原文解释了线性阈值方案梯度为零的问题、sigmoid 加最大似然使 log 抵消 exp 的机制,以及 softplus 在符号错误时不收缩梯度的性质。
- 原始内容:当z的符号错误时,softplus函数的变量(1−2y)z可以简化为|z|。当|z|变得很大并且z的符号错误时,softplus函数渐近地趋向于它的变量|z|。