知识卡片
支持向量机与核技巧
支持向量机是极具影响力的监督学习方法:它同样基于输入x的线性函数,但不输出概率,只按函数值的正负判定类别。其关键创新是核技巧——许多线性算法可改写为样本间点积的形式,把点积替换为核函数k(x, x⁽ⁱ⁾)=φ(x)·φ(x⁽ⁱ⁾),等价于先用特征函数φ把输入映射到新空间再学线性模型。核技巧威力有二:一是可在固定φ、只优化系数的凸优化框架下学到关于原输入非线性的模型,保证有效收敛;二是核函数往往比显式构造高维甚至无限维的φ再算点积高效得多。高斯核(RBF核)对应无限维空间,可理解为用训练样本做模板匹配:测试点与某样本越相似、核响应越大,该样本标签的权重越高。核机器的主要缺点是决策成本随训练样本数线性增长,支持向量机通过让多数系数为零、只保留支持向量来缓解,这一局限正是现代深度学习试图克服的。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 机器学习基础 · 查看原书依据
支持向量机的一个重要创新是核技巧 (kernel trick)。核技巧观察到许多机器学习算法都可以写成样本间点积的形式。例如,支持向量机中的线性函数可以重写为 其中, x (i) 是训练样本, α 是系数向量。
参考来源
- 位置:《深度学习》第5章 机器学习基础(源文件:extracted/深度学习/_epub-src/text/part0001_split_001.html)
- 结论依据:原文介绍了SVM的线性判定与核技巧的定义、核技巧强大的两点原因、高斯核的模板匹配解释及核机器的计算缺点。
- 原始内容:支持向量机的一个重要创新是核技巧 (kernel trick)。核技巧观察到许多机器学习算法都可以写成样本间点积的形式。例如,支持向量机中的线性函数可以重写为 其中, x (i) 是训练样本, α 是系数向量。