知识卡片

普通读书笔记卡 · 9887.g · 生成模型:Hunyuan

logit与sigmoid输出单元

理解等级:中级

对二值输出,最大似然的做法是用 sigmoid 单元参数化 Bernoulli 分布:线性层先算出 z(称为 logit),sigmoid 再把 z 转成 (0,1) 区间的概率。若改用线性单元加阈值截断,输出落在单位区间外时对所有参数的梯度都为 0,学习算法就失去改进方向。sigmoid 配合负对数似然时,代价可写成 softplus 形式,只有在模型已经答对时才饱和;答错时梯度渐近趋向 sign(z),完全不收缩,因此能快速纠正错误的 z。若用均方误差之类损失,sigmoid 饱和时无论对错梯度都消失,学习停滞。边界:实现时应把负对数似然写成 z 的函数而不是先算概率再取 log,以免 sigmoid 下溢到零后取对数得到负无穷。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深度学习》第6章 深度前馈网络(源文件:extracted/深度学习/_epub-src/text/part0002.html) - 结论依据:原文解释了线性阈值方案梯度为零的问题、sigmoid 加最大似然使 log 抵消 exp 的机制,以及 softplus 在符号错误时不收缩梯度的性质。 - 原始内容:当z的符号错误时,softplus函数的变量(1−2y)z可以简化为|z|。当|z|变得很大并且z的符号错误时,softplus函数渐近地趋向于它的变量|z|。