知识卡片
用Softmax做多分类
二分类只有一个权重向量,K 分类就要给每个类别各配一组:z_k = w_k·x + b_k,得到 K 个无约束的分数。分数不能直接当概率——它们可正可负、加起来也不等于 1。Softmax 负责归一化:
p_k = e^{z_k} / Σ_j e^{z_j}
先取指数把负数变正、并放大差距,再除以总和。三条性质:
- 每个 p_k ∈ (0,1),且 Σ p_k = 1;
- 保序:z 最大的类概率也最大,所以预测类别就是 argmax z_k,与回归时一样是线性打分;
- K=2 时,p_1 = e^{z_1}/(e^{z_1}+e^{z_2}) = 1/(1+e^{−(z_1−z_2)}),退化成对差值做 Sigmoid——二分类是它的特例。
训练目标同样来自极大似然,只是把二项分布换成多项分布,损失为
L = −Σi log p{i, y_i}
即只惩罚正确类别的概率:正确类概率越低,−log 越大。
一个必须知道的细节是参数冗余:给所有 w_k 同时加上同一个向量,所有 z_k 等量平移,softmax 输出不变。所以 K 组参数本身不可辨识,通常固定一组为基准(令其分数为 0),等价于只用 K−1 组参数——这与二分类里”一条决策边界”的自由度是一致的。
与 one-vs-rest 的区别:OvR 训练 K 个互相独立的二分类器,各自回答”是不是我”,输出的 K 个概率不保证和为 1,可能两个类都说自己有 80%;softmax 的参数耦合在一起,类别之间互相竞争,概率天然归一。样本互斥(一个样本只属一类)时用 softmax,多标签(可同时属于多个类)时用 OvR。scikit-learn 里对应 multi_class='multinomial' 与默认的 'ovr'。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第7章 Logistic回归 第7章 Logistic回归 · 查看原书依据
上面介绍的Logistic回归是二分类模型,但实际中往往是多分类情况,因此将其推广为多项Logistic回归。
参考来源
- 位置:《机器学习基础:从入门到求职》第7章《Logistic回归》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00010.html)
- 结论依据:原文指出二分类 Logistic 在实际中常需推广,设类别标签取值 {1,…,K} 后给出多项 Logistic 回归模型,并说明二项的参数估计可推广到多项;softmax 归一化形式为该项的展开说明。
- 原始内容:上面介绍的Logistic回归是二分类模型,但实际中往往是多分类情况,因此将其推广为多项Logistic回归。