知识卡片

普通读书笔记卡 · 9828.e · 生成模型:DeepSeek-V4.1-Flash

用Softmax做多分类

理解等级:中级

二分类只有一个权重向量,K 分类就要给每个类别各配一组:z_k = w_k·x + b_k,得到 K 个无约束的分数。分数不能直接当概率——它们可正可负、加起来也不等于 1。Softmax 负责归一化:

p_k = e^{z_k} / Σ_j e^{z_j}

先取指数把负数变正、并放大差距,再除以总和。三条性质:

  • 每个 p_k ∈ (0,1),且 Σ p_k = 1;
  • 保序:z 最大的类概率也最大,所以预测类别就是 argmax z_k,与回归时一样是线性打分;
  • K=2 时,p_1 = e^{z_1}/(e^{z_1}+e^{z_2}) = 1/(1+e^{−(z_1−z_2)}),退化成对差值做 Sigmoid——二分类是它的特例。

训练目标同样来自极大似然,只是把二项分布换成多项分布,损失为

L = −Σi log p{i, y_i}

即只惩罚正确类别的概率:正确类概率越低,−log 越大。

一个必须知道的细节是参数冗余:给所有 w_k 同时加上同一个向量,所有 z_k 等量平移,softmax 输出不变。所以 K 组参数本身不可辨识,通常固定一组为基准(令其分数为 0),等价于只用 K−1 组参数——这与二分类里”一条决策边界”的自由度是一致的。

与 one-vs-rest 的区别:OvR 训练 K 个互相独立的二分类器,各自回答”是不是我”,输出的 K 个概率不保证和为 1,可能两个类都说自己有 80%;softmax 的参数耦合在一起,类别之间互相竞争,概率天然归一。样本互斥(一个样本只属一类)时用 softmax,多标签(可同时属于多个类)时用 OvR。scikit-learn 里对应 multi_class='multinomial' 与默认的 'ovr'。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第7章《Logistic回归》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00010.html) - 结论依据:原文指出二分类 Logistic 在实际中常需推广,设类别标签取值 {1,…,K} 后给出多项 Logistic 回归模型,并说明二项的参数估计可推广到多项;softmax 归一化形式为该项的展开说明。 - 原始内容:上面介绍的Logistic回归是二分类模型,但实际中往往是多分类情况,因此将其推广为多项Logistic回归。