← 返回起始笔记位置

知识卡片

操作参考卡 · 9829.k · 生成模型:DeepSeek-V4.1-Flash

sklearn里的SVM怎么用

理解等级:初级

scikit-learn 把 SVM 分成两个类,选错类比调错参更常见:

场景 用哪个 说明
线性边界、样本量大、要高维稀疏可用 svm.LinearSVC 线性核专用实现,速度快,输出 coef_ 可直接看特征权重
需要非线性边界 svm.SVC(kernel=...) 支持 linear/poly/rbf/sigmoid,可用 support_vectors_ 检查支持向量

要动的参数(按影响从大到小):

  • C:正则化项权重的倒数。C 越小,正则化越强,边界越平滑;C 越大越贴合训练集。这是与书中惩罚参数 c 对应的量。
  • kernel:SVC 的核类型,默认 rbf。degree 供 poly 使用(默认 3),coef0 是 poly/sigmoid 里的常数项 r。
  • gamma:poly 与 rbf 的核系数,其他核忽略。gamma 越大,单个样本影响范围越小,边界越弯。
  • class_weight:类别不平衡时设 balanced,各类权重与该类频次成反比,也可传字典自定。
  • loss(仅 LinearSVC):hinge 或 squared_hinge(默认后者,可微、收敛更稳)。
  • dual、penalty、max_iter、tol:求解器细节,通常保持默认;样本数远大于特征数时可试 dual=False。
  • probability=True(仅 SVC):打开后才存在 predict_proba / predict_log_proba,代价是内部多做一次概率校准,训练变慢。

诊断用的属性:

  • support_ / support_vectors_:支持向量的下标与具体取值。支持向量占比很高,说明 C 过大或核过尖。
  • n_support_:每个类别的支持向量个数,可直接对比不同参数下的模型复杂度。
  • coef_ / intercept_:线性情形下的 w 与 b。

两个实践前提:SVM 依赖内积/距离,特征量纲差别大时必须先标准化,否则尺度大的特征会垄断核值;样本量很大(十万级以上)时 RBF 核的训练开销难以承受,应改用线性模型或 SGDClassifier。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第8章《第8章 支持向量机》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00011.html) - 结论依据:原文分别列出线性与非线性 SVM 的参数、属性、方法,并说明 c 是正则化项系数的倒数、gamma 是多项式/高斯核的系数。 - 原始内容:c:指定正则化项的权重,是正则化项惩罚项系数的倒数,所以c越小,正则化项越大,默认为1.0……gamma:指定多项式核函数或高斯核函数的系数,当选择其他核函数时,忽略该系数,默认为auto。