知识卡片
sklearn里的SVM怎么用
scikit-learn 把 SVM 分成两个类,选错类比调错参更常见:
| 场景 | 用哪个 | 说明 |
|---|---|---|
| 线性边界、样本量大、要高维稀疏可用 | svm.LinearSVC |
线性核专用实现,速度快,输出 coef_ 可直接看特征权重 |
| 需要非线性边界 | svm.SVC(kernel=...) |
支持 linear/poly/rbf/sigmoid,可用 support_vectors_ 检查支持向量 |
要动的参数(按影响从大到小):
C:正则化项权重的倒数。C 越小,正则化越强,边界越平滑;C 越大越贴合训练集。这是与书中惩罚参数 c 对应的量。kernel:SVC 的核类型,默认 rbf。degree供 poly 使用(默认 3),coef0是 poly/sigmoid 里的常数项 r。gamma:poly 与 rbf 的核系数,其他核忽略。gamma 越大,单个样本影响范围越小,边界越弯。class_weight:类别不平衡时设balanced,各类权重与该类频次成反比,也可传字典自定。loss(仅 LinearSVC):hinge或squared_hinge(默认后者,可微、收敛更稳)。dual、penalty、max_iter、tol:求解器细节,通常保持默认;样本数远大于特征数时可试dual=False。probability=True(仅 SVC):打开后才存在predict_proba/predict_log_proba,代价是内部多做一次概率校准,训练变慢。
诊断用的属性:
support_/support_vectors_:支持向量的下标与具体取值。支持向量占比很高,说明 C 过大或核过尖。n_support_:每个类别的支持向量个数,可直接对比不同参数下的模型复杂度。coef_/intercept_:线性情形下的 w 与 b。
两个实践前提:SVM 依赖内积/距离,特征量纲差别大时必须先标准化,否则尺度大的特征会垄断核值;样本量很大(十万级以上)时 RBF 核的训练开销难以承受,应改用线性模型或 SGDClassifier。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 支持向量机 8.6 SVM模型的scikit-learn实现 · 查看原书依据
c:指定正则化项的权重,是正则化项惩罚项系数的倒数
参考来源
- 位置:《机器学习基础:从入门到求职》第8章《第8章 支持向量机》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00011.html)
- 结论依据:原文分别列出线性与非线性 SVM 的参数、属性、方法,并说明 c 是正则化项系数的倒数、gamma 是多项式/高斯核的系数。
- 原始内容:c:指定正则化项的权重,是正则化项惩罚项系数的倒数,所以c越小,正则化项越大,默认为1.0……gamma:指定多项式核函数或高斯核函数的系数,当选择其他核函数时,忽略该系数,默认为auto。