← 返回刚才阅读的位置

知识卡片

操作参考卡 · 9828.h · 生成模型:DeepSeek-V4.1-Flash

用系数符号校验业务直觉

理解等级:中级

Logistic 回归训练完,coef_ 给出每个特征的权重,intercept_ 是偏置。这些系数的符号和大小可以直接读:正号表示该特征抬高正例的对数几率,负号表示压低。泰坦尼克号获救预测的例子给了一个很好的对账示范——Sex_female 的权重最高,为 2.78,与”女士优先”的历史事实一致;而 Age 的权重为 −0.73,年龄越大越难获救,这与直觉相反,值得追查。

为什么系数能这样读:在 logit 尺度上模型是线性的,w_j 就是”该特征加 1 单位时对数几率的变化量”,与其他特征的取值无关(这是可加性假设,也是它的局限)。

对账的操作步骤:

  1. 先确认特征是否标准化。没标准化时,系数大小取决于量纲,”2.78 最大”可能只是因为该列的量纲小,不能直接横向比重要性。要比较量级就先标准化,或改用 feature_importances_ 之类的口径(树模型)。
  2. 看符号是否符合领域知识。本例中 Age 为负,可能的原因有三:与 Pclass、称谓(藏在 Name 里)等特征共线,系数被”分配”到了别的变量上;缺失值用模型填充后引入偏差;或者真实关系确实非单调(儿童与老人优先级都高,中间段最低),线性项只能拟合出一个平均斜率。
  3. 看 one-hot 系数的参照系。Embarked 展开成多列后,每一列的系数是相对被丢弃的基准类的差异。原文读出”Q 的获救概率 > C > S”,比较的是同一组哑变量内部的相对大小,不能把某一列的系数当成绝对效应。
  4. 不一致就回去查数据,而不是直接改模型。常见根因是特征构造(把有序类别当数值)、样本选择偏差、或缺失值处理方式。

这条做法的价值在于:模型指标只告诉你”拟合得好不好”,系数符号才告诉你”它学到的规律是不是真的”。指标漂亮但符号与业务常识冲突,往往是数据泄漏或特征相关的信号。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第7章《Logistic回归》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00010.html) - 结论依据:原文在实例第 5 步查看各特征权重,指出 Sex_female 权重最大为 2.78、与"女士优先"相符,而 Age 权重为 −0.73 "有点出乎我们的意料",并按 Embarked 各类别系数比较获救概率高低。 - 原始内容:可以看到,所有用到的特征中,Sex_female所占的权重最大,为2.78,这和“女士优先”还是很相符的;但是Age特征的权重为-0.73,这有点出乎我们的意料。