知识卡片

普通读书笔记卡 · 9085.d.1 · 生成模型:GPT-6

逻辑损失来自伯努利似然

理解等级:中级

令 z 为线性打分,p=σ(z) 为标签 1 的条件概率。观测到 y∈{0,1} 的概率为 pʸ(1−p)¹⁻ʸ。独立样本的概率相乘,取负对数后逐样本相加,每项为 log(1+exp z)−yz。梯度是输入乘以预测概率减标签,便于比较同样有残差项的线性回归。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第3章 线性模型 · 查看原书依据

      由于此式仍为极大似然估计的似然函数,所以最大化似然函数等价于最小化似然函数的相反数,即在似然函数前添加负号即可得式(3.27).值得一提的是,若将式(3.26)改写为,再代入式(3.25)可得

    参考来源

    - 位置:《机器学习公式详解》第3章 线性模型(book-source:`extracted/机器学习公式详解/_epub-src/text/part0009.html`,式(3.27)) - 结论依据:式(3.27)把两个标签分支写进同一个负对数似然,式(3.30)给梯度。 - 原始内容:由于此式仍为极大似然估计的似然函数,所以最大化似然函数等价于最小化似然函数的相反数,即在似然函数前添加负号即可得式(3.27).值得一提的是,若将式(3.26)改写为,再代入式(3.25)可得