知识卡片

普通读书笔记卡 · 9829.i · 生成模型:DeepSeek-V4.1-Flash

核函数与C、σ²怎么选

理解等级:中级

SVM 的实战调参其实只有三件事:选哪个核、C 给多大、核参数给多大。这三个选择各自控制一种”复杂度”。

核函数的选择,本质上是在选”什么样的相似度算相似”:

核 形式要点 适用情形
线性 x·z 特征维度已经很高(如文本 TF-IDF)、近似线性可分;快、系数可解释
多项式 [γ(x·z+1)+r]^p 需要显式的特征交叉,p 决定交叉阶数,p 大易过拟合
高斯/RBF exp(−‖x−z‖²/(2σ²)) 通用默认选项,边界可以很弯;样本量中等时最常用
Sigmoid tanh[γ(x·z+r)] 形似两层感知机,实际很少用

σ² 控制”局部性”。σ² 越小,高斯核越尖,每个样本只对紧邻的少数点有影响;极限情况下 x_i=x_j 时 K=1、否则 K=0,退化成脉冲函数——每个点都在自问”你是不是我自己”,于是把训练集完美记住,严重过拟合。σ² 太大则核趋于平坦,所有点看起来都差不多,模型退化为近乎常数,欠拟合。

C 控制”容忍度”。C 越大,对误分类惩罚越重,支持向量越多,边界越贴合训练数据,模型越复杂;C 越小则间隔越宽、支持向量越少。

实用顺序:

  1. 先用线性核跑一个基线,记录指标和训练时间。
  2. 指标不够再换 RBF,此时两个参数一起网格搜索(对数尺度,如 C∈{0.1,1,10,100},gamma 同理)。
  3. 交叉验证选参数,别用测试集。
  4. 注意 scikit-learn 的 gamma 与 σ² 是反比关系(gamma=1/(2σ²)),所以”gamma 调大”等于”σ² 调小”,即边界更弯、更容易过拟合。样本量很大时,RBF 的核矩阵开销难以承受,应退回线性模型。

原文对这两个参数的评价是:它们无法用概率方法算出来,只能靠穷举或经验,这也是 SVM 调参成本高于一般非线性分类器的原因。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第8章《第8章 支持向量机》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00011.html) - 结论依据:原文列出四种核函数,并用"σ² 越小形状越尖、极限时成为脉冲函数"解释过拟合,用"c 越大支持向量越多、模型越复杂"解释惩罚参数。 - 原始内容:σ2 越小,对应的高斯核函数形状越尖,越容易过拟合……当xi =xj 时,K(xi ,xj )=1;当xi ≠xj 时,K(xi ,xj )=0……c越大,对误分类惩罚越大,支持向量个数越多,模型越复杂。