← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9828 · 生成模型:DeepSeek-V4.1-Flash

线性回归套Sigmoid

理解等级:初级

线性回归给出 z = w·x + b,取值范围是整条实数轴。要做二分类,”是正例的概率”只能落在 0~1 之间,直接拿 z 当概率会在两端越界。Logistic 回归的做法是套一层压缩函数:

σ(z) = 1 / (1 + e^(−z))

它把 (−∞, +∞) 单调地压进 (0, 1)。三条性质要记住:

  • σ(0) = 0.5,z 的正负决定偏向哪一类;
  • z 越大越接近 1,z 越小越接近 0,但永远取不到端点;
  • 导数形式极简:σ’(z) = σ(z)(1 − σ(z)),这是后面推导梯度时能化简的关键。

于是模型写成 P(y=1|x) = σ(w·x + b)。预测时以 0.5 为界,等价于判断 w·x + b 的正负——决策边界仍是一个超平面,所以它归根到底还是线性分类器,只是输出被翻译成了概率。

阈值 0.5 不是必须的。欺诈检测宁可错杀,可以把阈值调低提高查全率;广告投放怕打扰用户,可以调高提高查准率。换阈值不改变模型,只改变”切在哪里算正例”,这也是拥有概率输出的一大好处。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第7章《Logistic回归》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00010.html) - 结论依据:原文开篇即把 Logistic 回归定义为"将线性回归的结果输入一个 Sigmoid 函数,将回归值映射到0~1,表示输出为类别'1'的概率",随后给出线性表达式与 Sigmoid 函数。 - 原始内容:简单来说,Logistic回归模型就是将线性回归的结果输入一个Sigmoid函数,将回归值映射到0~1,表示输出为类别“1”的概率。