知识卡片
核函数与C、σ²怎么选
SVM 的实战调参其实只有三件事:选哪个核、C 给多大、核参数给多大。这三个选择各自控制一种”复杂度”。
核函数的选择,本质上是在选”什么样的相似度算相似”:
| 核 | 形式要点 | 适用情形 |
|---|---|---|
| 线性 | x·z | 特征维度已经很高(如文本 TF-IDF)、近似线性可分;快、系数可解释 |
| 多项式 | [γ(x·z+1)+r]^p | 需要显式的特征交叉,p 决定交叉阶数,p 大易过拟合 |
| 高斯/RBF | exp(−‖x−z‖²/(2σ²)) | 通用默认选项,边界可以很弯;样本量中等时最常用 |
| Sigmoid | tanh[γ(x·z+r)] | 形似两层感知机,实际很少用 |
σ² 控制”局部性”。σ² 越小,高斯核越尖,每个样本只对紧邻的少数点有影响;极限情况下 x_i=x_j 时 K=1、否则 K=0,退化成脉冲函数——每个点都在自问”你是不是我自己”,于是把训练集完美记住,严重过拟合。σ² 太大则核趋于平坦,所有点看起来都差不多,模型退化为近乎常数,欠拟合。
C 控制”容忍度”。C 越大,对误分类惩罚越重,支持向量越多,边界越贴合训练数据,模型越复杂;C 越小则间隔越宽、支持向量越少。
实用顺序:
- 先用线性核跑一个基线,记录指标和训练时间。
- 指标不够再换 RBF,此时两个参数一起网格搜索(对数尺度,如 C∈{0.1,1,10,100},gamma 同理)。
- 交叉验证选参数,别用测试集。
- 注意 scikit-learn 的
gamma与 σ² 是反比关系(gamma=1/(2σ²)),所以”gamma 调大”等于”σ² 调小”,即边界更弯、更容易过拟合。样本量很大时,RBF 的核矩阵开销难以承受,应退回线性模型。
原文对这两个参数的评价是:它们无法用概率方法算出来,只能靠穷举或经验,这也是 SVM 调参成本高于一般非线性分类器的原因。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 支持向量机 8.5 非线性支持向量机 · 查看原书依据
σ2 越小,对应的高斯核函数形状越尖,越容易过拟合
参考来源
- 位置:《机器学习基础:从入门到求职》第8章《第8章 支持向量机》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00011.html)
- 结论依据:原文列出四种核函数,并用"σ² 越小形状越尖、极限时成为脉冲函数"解释过拟合,用"c 越大支持向量越多、模型越复杂"解释惩罚参数。
- 原始内容:σ2 越小,对应的高斯核函数形状越尖,越容易过拟合……当xi =xj 时,K(xi ,xj )=1;当xi ≠xj 时,K(xi ,xj )=0……c越大,对误分类惩罚越大,支持向量个数越多,模型越复杂。