知识卡片
极大似然导出对数损失
有了 P(y=1|x)=p、P(y=0|x)=1−p,就可以写出单个样本的似然。用一个技巧把两种情况合成一式:
p_i^{y_i} · (1 − p_i)^{1−y_i}
y_i=1 时它等于 p_i,y_i=0 时等于 1−p_i。假设样本独立,整个数据集的似然是连乘:
L(w, b) = Π_i p_i^{y_i} (1 − p_i)^{1−y_i}
为什么要取对数:连乘在数值上极易下溢(几百个小于 1 的数相乘就归零),而且乘积求导要用乘法法则,逐项展开很乱。取对数把乘变加,且不改变极值点位置:
log L = Σ_i [ y_i log p_i + (1 − y_i) log(1 − p_i) ]
最大化它,等价于最小化它的相反数,即
−log L = −Σ_i [ y_i log p_i + (1 − y_i) log(1 − p_i) ]
这就是 Logistic 回归的损失函数,通常叫对数损失,在深度学习的语境里也叫二分类交叉熵(同一式子,两种叫法)。它有个直观读法:真实标签为 1 时只剩 −log p,预测概率越接近 1 损失越小、越接近 0 损失趋向无穷;标签为 0 时对称地惩罚把 p 抬高。
求解只需要把梯度送进优化器:对 w 求偏导会得到 Σ(p_i − y_i)x_i 这种干净的形式(σ 的导数把分母约掉了),所以可以直接用 [[梯度下降求解]] 或拟牛顿法。这也解释了它为什么比”平方损失 + sigmoid”好算——后者的梯度里会残留一个 σ’(z) 因子,见 [[为什么不用平方损失]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第7章 Logistic回归 第7章 Logistic回归 · 查看原书依据
接下来我们就可以构造似然函数,将其转化为一个优化问题来估计出w和b了,具体如下。
参考来源
- 位置:《机器学习基础:从入门到求职》第7章《Logistic回归》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00010.html)
- 结论依据:原文由正反例概率表达式写出似然函数并取对数得对数似然,说明目标是让每个样本属于真实标记的概率越大越好,再用梯度下降或拟牛顿法求解。
- 原始内容:接下来我们就可以构造似然函数,将其转化为一个优化问题来估计出w和b了,具体如下。……可以用梯度下降法或拟牛顿法来求解上述优化问题。