知识卡片
线性打分再过Sigmoid
逻辑回归先把特征线性加权,再用逻辑函数压到 0 到 1:P(y=+1|x)=σ(w^T x),σ(z)=1/(1+e^(-z))。σ 的导数有性质 σ’(z)=σ(z)(1-σ(z)),最大值为 0.25,这让梯度形式很干净。把 y 记为 +1/-1,负对数似然可统一写成 L(w)=Σ log(1+exp(-y_i w^T x_i)):正样本分数越大、负样本分数越小,损失越小;再加 L2 项 (λ/2)||w||² 就是实际训练的目标。对 w 求二阶导得到海森矩阵 X^T A X(A 是对角矩阵,元素为 σ(1-σ)>0),它正定,所以 L(w) 是严格凸函数,局部最优就是全局最优,梯度下降能收敛到唯一解。正则化的作用不是让训练误差更小,而是防止 w 的某些维度过大导致新样本预测偏移:L1 倾向于把部分权重压到 0,起特征选择作用;L2 倾向于把权重整体压小。逻辑回归因此成为排序的常用基线——可解释、易并行、支持大规模离散特征,代价是只能表达线性组合,交叉特征需要人工构造。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 搜索系统中的主要算法 · 查看原书依据
利用逻辑函数将自变量加权值压缩到0~1范围内,用于表示因变量取各离散值的概率。本质上,逻辑回归可以视为一个通过逻辑函数做归一化的线性回归。
参考来源
- 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第5章 搜索系统中的主要算法(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0076.html)
- 结论依据:原文说明逻辑函数把线性加权值压缩到 0~1 以表示概率,并指出逻辑回归本质上是经逻辑函数归一化的线性回归,这正是其打分形式与凸优化性质的来源。
- 原始内容:利用逻辑函数将自变量加权值压缩到0~1范围内,用于表示因变量取各离散值的概率。本质上,逻辑回归可以视为一个通过逻辑函数做归一化的线性回归。