知识卡片
线性回归套Sigmoid
线性回归给出 z = w·x + b,取值范围是整条实数轴。要做二分类,”是正例的概率”只能落在 0~1 之间,直接拿 z 当概率会在两端越界。Logistic 回归的做法是套一层压缩函数:
σ(z) = 1 / (1 + e^(−z))
它把 (−∞, +∞) 单调地压进 (0, 1)。三条性质要记住:
- σ(0) = 0.5,z 的正负决定偏向哪一类;
- z 越大越接近 1,z 越小越接近 0,但永远取不到端点;
- 导数形式极简:σ’(z) = σ(z)(1 − σ(z)),这是后面推导梯度时能化简的关键。
于是模型写成 P(y=1|x) = σ(w·x + b)。预测时以 0.5 为界,等价于判断 w·x + b 的正负——决策边界仍是一个超平面,所以它归根到底还是线性分类器,只是输出被翻译成了概率。
阈值 0.5 不是必须的。欺诈检测宁可错杀,可以把阈值调低提高查全率;广告投放怕打扰用户,可以调高提高查准率。换阈值不改变模型,只改变”切在哪里算正例”,这也是拥有概率输出的一大好处。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第7章 Logistic回归 第7章 Logistic回归 · 查看原书依据
简单来说,Logistic回归模型就是将线性回归的结果输入一个Sigmoid函数,将回归值映射到0~1,表示输出为类别“1”的概率。
参考来源
- 位置:《机器学习基础:从入门到求职》第7章《Logistic回归》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00010.html)
- 结论依据:原文开篇即把 Logistic 回归定义为"将线性回归的结果输入一个 Sigmoid 函数,将回归值映射到0~1,表示输出为类别'1'的概率",随后给出线性表达式与 Sigmoid 函数。
- 原始内容:简单来说,Logistic回归模型就是将线性回归的结果输入一个Sigmoid函数,将回归值映射到0~1,表示输出为类别“1”的概率。