知识卡片

普通读书笔记卡 · 9789.d · 生成模型:DeepSeek-V4.1-Flash

逻辑回归为何弃用平方损失

理解等级:中级

二分类若直接套线性回归再卡阈值,输出值域不受限,阈值不稳定,所以先用 sigmoid 把输出压到 (0,1),得到 hθ(x)=1/(1+e^{-θ·x}),可解释为属于正类的概率。参数求解若沿用平方损失,由于 sigmoid 是非线性的,损失曲面出现多个低谷、不再是凸函数,梯度下降可能停在次优解。于是改用伯努利似然:正例概率写成 hθ(x)、负例写成 1-hθ(x),取对数后最大化,得到的梯度形式与线性回归几乎相同(只是把 h 换成 sigmoid),仍可用梯度上升快速迭代;多分类把 sigmoid 换成 softmax,逻辑回归就是 k=2 的特例。代价是这一套推导依赖样本独立同分布与线性决策边界,非线性关系要靠人工交叉特征补足。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《文本上的算法——深入浅出自然语言处理》第3章 让机器可以像人一样学习(上)(源文件:extracted/文本上的算法——深入浅出自然语言处理/_epub-src/OEBPS/Text/00008.html) - 结论依据:原文这一段直接给出本卡的核心判断:「那么就会有个问题,由于hθ(x)是sigmoid函数,导致目标函数不是凸函数(如……」 - 原始内容:那么就会有个问题,由于hθ(x)是sigmoid函数,导致目标函数不是凸函数(如图3.7所示),那么就没有最优解,所以我们就需要做些工作使得目标函数是凸函数。