← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9886.m · 生成模型:Hunyuan

支持向量机与核技巧

理解等级:中级

支持向量机是极具影响力的监督学习方法:它同样基于输入x的线性函数,但不输出概率,只按函数值的正负判定类别。其关键创新是核技巧——许多线性算法可改写为样本间点积的形式,把点积替换为核函数k(x, x⁽ⁱ⁾)=φ(x)·φ(x⁽ⁱ⁾),等价于先用特征函数φ把输入映射到新空间再学线性模型。核技巧威力有二:一是可在固定φ、只优化系数的凸优化框架下学到关于原输入非线性的模型,保证有效收敛;二是核函数往往比显式构造高维甚至无限维的φ再算点积高效得多。高斯核(RBF核)对应无限维空间,可理解为用训练样本做模板匹配:测试点与某样本越相似、核响应越大,该样本标签的权重越高。核机器的主要缺点是决策成本随训练样本数线性增长,支持向量机通过让多数系数为零、只保留支持向量来缓解,这一局限正是现代深度学习试图克服的。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第5章 机器学习基础 · 查看原书依据

      支持向量机的一个重要创新是核技巧 (kernel trick)。核技巧观察到许多机器学习算法都可以写成样本间点积的形式。例如,支持向量机中的线性函数可以重写为 其中, x (i) 是训练样本, α 是系数向量。

    参考来源

    - 位置:《深度学习》第5章 机器学习基础(源文件:extracted/深度学习/_epub-src/text/part0001_split_001.html) - 结论依据:原文介绍了SVM的线性判定与核技巧的定义、核技巧强大的两点原因、高斯核的模板匹配解释及核机器的计算缺点。 - 原始内容:支持向量机的一个重要创新是核技巧 (kernel trick)。核技巧观察到许多机器学习算法都可以写成样本间点积的形式。例如,支持向量机中的线性函数可以重写为 其中, x (i) 是训练样本, α 是系数向量。