知识卡片
逻辑损失来自伯努利似然
令 z 为线性打分,p=σ(z) 为标签 1 的条件概率。观测到 y∈{0,1} 的概率为 pʸ(1−p)¹⁻ʸ。独立样本的概率相乘,取负对数后逐样本相加,每项为 log(1+exp z)−yz。梯度是输入乘以预测概率减标签,便于比较同样有残差项的线性回归。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第3章 线性模型
原书出处 · 1 处
- 第3章 线性模型 · 查看原书依据
由于此式仍为极大似然估计的似然函数,所以最大化似然函数等价于最小化似然函数的相反数,即在似然函数前添加负号即可得式(3.27).值得一提的是,若将式(3.26)改写为,再代入式(3.25)可得
参考来源
- 位置:《机器学习公式详解》第3章 线性模型(book-source:`extracted/机器学习公式详解/_epub-src/text/part0009.html`,式(3.27))
- 结论依据:式(3.27)把两个标签分支写进同一个负对数似然,式(3.30)给梯度。
- 原始内容:由于此式仍为极大似然估计的似然函数,所以最大化似然函数等价于最小化似然函数的相反数,即在似然函数前添加负号即可得式(3.27).值得一提的是,若将式(3.26)改写为,再代入式(3.25)可得