此笔记位置已失效,请从目录继续阅读。
全书导读
这本书的目标读者很明确:准备投算法岗、手里有项目但理论讲不清的人。它的写法也因此和多数教材不同——不追求覆盖面,只把面试与实际建模都要用到的经典模型逐个拆到能自己写公式的程度。全书 15 章,第 1–2 章立框架,第 3–11 章逐个过监督学习模型,第 12–13 章转向无监督的聚类与降维,第 14–15 章收在词向量与神经网络上。
第一条主线是”模型—策略—算法”这组三要素。第 1 章把它定义为坐标系,此后每一章都在填同一个表格:假设什么样的函数、用什么损失衡量好坏、用什么算法把损失压下去。线性回归、朴素贝叶斯、Logistic 回归、SVM 都按这个顺序展开,读到后面会发现变化只发生在三段之一,框架不变。这条线索的价值不在记忆,而在于遇到新模型时会知道该问哪三个问题。
第二条主线是模型的表达力与代价。朴素贝叶斯用条件独立假设把参数量压到可计算,代价是概率过度自信;SVM 用间隔最大化换来唯一解,代价是要解二次规划;树模型换来可解释与非线性,代价是方差大,于是有了随机森林的 Bagging 与 AdaBoost、GBDT 的 Boosting 两条纠错路线;聚类一章把”什么叫紧密”的四种定义并列,本质也是在讲同一个取舍——你选择哪种相似性,就接受哪种形状的簇。
第三条主线较少被强调,但贯穿全书:所有的”改进”都能追溯到前一个方法的具体缺陷。信息增益比是对信息增益偏好多取值特征的修正,拉普拉斯平滑是对零概率的兜底,软间隔是对线性不可分的让步,k-means++ 是对初始中心敏感的补救。这种”缺陷—补丁”的读法比按目录顺序记模型更有迁移价值。
本书对数学的要求是能看懂推导,不是能重证定理:会用偏导、矩阵乘法、条件概率即可。原书代码以 scikit-learn 调用为主,属辅助演示,重点是参数含义与结果解读,而非工程实现细节。
全书主线
全书可以按”一个框架、两类任务、三次范式转换”来记忆。
一个框架:第 1 章给出的模型—策略—算法三段式,以及由此派生的评估体系(第 2 章)。前者回答”怎么建模”,后者回答”怎么验收”。第 2 章的偏差—方差分解其实是三要素的体检报告:模型太简单是偏差高,太复杂是方差高,正则化就是在两者之间挪动位置。
两类任务:有监督与无监督。有监督内部按输出类型分分类与回归,按是否建模输入分布分生成式与判别式;无监督在第 12、13 章展开为聚类(找结构)与降维(去冗余)。这条分界线决定了评估指标的选择:有标签时看预测对不对,无标签时只能看簇内紧、簇间远或重构误差。
三次范式转换:第一次是从”写规则”到”估参数”(第 1 章);第二次是从”单个模型”到”集成”(第 9–11 章),把弱学习器按并行平均或串行纠错组合起来;第三次是从”人工特征”到”学表示”(第 14–15 章),词向量让离散符号变成可计算的稠密向量,神经网络让特征本身成为可训练的参数。
按这三条线索读,15 章不是 15 个孤立模型,而是同一套方法论在逐渐复杂的问题上的重复应用。
前言
《机器学习基础:从入门到求职》的正文几乎全是模型原理推导,初看与书名里的”求职”不太相称。前言把这件事讲清楚了:求职算法岗需要理论、业务、工程三层能力,而理论与业务、工程不同,它无法靠做项目顺带获得,只能专门学。本书因此把自己限定在”用最短时间攻克理论这一关”,其余两层交给读者的项目与 coding 练习。
这一取舍也划出了读者边界。前言逐年对比了 2015 至 2018 年的招聘要求:从”懂些皮毛即可”,到要求”手推”模型原理,再到要求原理、代码、可讲的项目三者兼备。门槛上移的机制不是岗位变难,而是供给变多后企业转向择优,于是每一轮都新增一种可低成本验证的信号。对号入座的办法是按短板定位,而不是按年份焦虑——学历、论文这类短期不可改变的项先放下,只处理可控项。
为了让读者判断自己缺什么,前言给出了一份”机器学习求职60问”,按基础概念、模型原理、模型比较、模型技巧、求职技巧五类排列。它的价值不在题目数量,而在于顺序:先能定义术语,再能推单个模型,再能横向比较,最后落到项目与表达。数量分布也说明了重心——模型原理类占三分之一强,比较类几乎全是两个模型成对出现,技巧类则几乎没有标准答案。
这些卡片与第 1 章的关系是总纲与展开。60 问中的第 6、7、11、12 问(风险函数、优化算法、有监督/无监督、生成与判别)在第 1 章就有直接答案:风险函数即损失函数,优化算法以梯度下降与牛顿法为代表,学习方式与模型类型的划分构成全书的目录骨架。因此读第 1 章时可以对照这份清单,先确认术语层没有空洞,再进入后续逐模型的推导。
第01章 机器学习概述
这一章不推任何具体模型,只做一件事:把”机器学习”变成可以照着操作的三段式——选模型、定损失、解优化。它相当于全书的坐标系,后面每个模型都落在这个坐标系的一个位置上。
先看它和编程的关系。传统编程是规则加数据得答案,规则由人写定,同一输入必得同一输出;机器学习反过来,输入数据与已知答案,输出规则本身。这个反转有两个后果:规则变成带参数的函数,参数只能从数据估出来;既然是估的,结果就带不确定性,于是需要验证集和评估指标来判断规则可不可用。读书时因此要养成一个习惯:见到任何模型,先问它的参数是什么、靠什么估出来。
再看对象与方法谱系。对象是数据,路径是”数据→特征→模型→规律→新数据预测”,工程上先按比例切出训练集与验证集,再把文本、图像统一成矩阵(词频矩阵、像素矩阵)。按学习方式分三类:有监督用带标签样本学映射,输出离散是分类、连续是回归;无监督没有标签,靠聚类找簇、靠降维缓解维数灾难;强化学习则在动作与奖赏的循环中调整策略。有监督内部再按”是否对输入分布建模”分成生成式与判别式,这一划分决定了模型能否还原联合分布、能否处理隐变量、准确度通常谁更高。
三要素是本章主干:
- 模型:把业务问题写成带参数的函数。信用卡例子把特征数值化成向量,做加权和、比门限,用符号函数输出 ±1,权重与门限待定。
- 策略:定义损失函数度量预测与真值的差距,把”参数好不好”变成最小化问题;0-1、绝对、平方、指数、Hinge、对数六种损失分别对应不同模型与输出类型。
- 算法:求解这个最优化问题。梯度下降沿负梯度迭代,步长难定且易陷局部最优,于是有动态步长与随机抽样的改进;牛顿法用 Hessian 做二阶修正,收敛更快,但方向未必下降、求逆太贵,于是有阻尼牛顿法与拟牛顿法。
分工也解释了调参该改哪里:效果不好先动模型与策略,跑得太慢才动算法。正因如此,把机器学习叫作”机器学习算法”并不准确——算法只是求解器。第 2 章起进入评估与工程实践,本章的三要素会在每个模型上重复出现一遍。
本章卡片:机器学习是反向的编程、数据是机器学习的对象、人工智能包含机器学习、有监督学习:从答案学映射、聚类:无标签下划簇、降维缓解维数灾难、强化学习:试错中趋利避害、生成模型与判别模型、模型、策略、算法三要素、模型是带参数的函数族、六种损失函数各自服务谁、从损失函数到最优化问题、负梯度走一步:批量与随机、牛顿法及其两处修正。
原书依据 · 14 处
- 第1章 机器学习概述 1.1 机器学习介绍 · 查看原书依据
- 第1章 机器学习概述 1.1 机器学习介绍 · 查看原书依据
- 第1章 机器学习概述 1.1 机器学习介绍 · 查看原书依据
- 第1章 机器学习概述 1.2 机器学习分类 · 查看原书依据
- 第1章 机器学习概述 1.2 机器学习分类 · 查看原书依据
- 第1章 机器学习概述 1.2 机器学习分类 · 查看原书依据
- 第1章 机器学习概述 1.2 机器学习分类 · 查看原书依据
- 第1章 机器学习概述 1.2 机器学习分类 · 查看原书依据
- 第1章 机器学习概述 1.3 机器学习方法三要素 · 查看原书依据
- 第1章 机器学习概述 1.3 机器学习方法三要素 · 查看原书依据
- 第1章 机器学习概述 1.3 机器学习方法三要素 · 查看原书依据
- 第1章 机器学习概述 1.3 机器学习方法三要素 · 查看原书依据
- 第1章 机器学习概述 1.3 机器学习方法三要素 · 查看原书依据
- 第1章 机器学习概述 1.3 机器学习方法三要素 · 查看原书依据
第02章 机器学习工程实践
第2章把视角从”模型是什么”转到”项目怎么做”。前两节处理模型训练完之后的两件事:怎么判断它好不好(评估指标),怎么解释它在训练集上很好、到新数据上却不行(复杂度度量);第三节把这两件事放进项目流程,讲特征工程与调参。
评估指标必须按任务分开看。回归输出连续值,衡量的是”差多少”,因此用绝对误差与均方误差;后者平方后放大大偏差,训练时好用,报告时开方更直观,取舍见 绝对误差与均方误差。分类衡量”对不对”,但准确率在类别不平衡时会给出漂亮而无用的数字,所以要先用 混淆矩阵与准确率的盲区 里的 TP/FP/FN/TN 把错误拆开,再按业务代价选择查准率或查全率,并用 查准率与查全率的矛盾 中的 F1 做折中;若模型输出的是概率,还可以用 ROC 曲线与 AUC 扫遍所有阈值,一次性概括排序能力。聚类的评价最麻烦,因为没有标签:有参考答案时用 聚类外部指标的成对计数,没有参考答案时只能用”簇内紧、簇间远”这类指标,见 内部指标与轮廓系数 ——而”紧”与”远”都依赖 常用距离度量一览 里选的那个距离。
复杂度度量解释了”训练好、测试差”的现象。偏差-方差分解 把泛化误差拆成偏差、方差与噪声三项:偏差刻画算法自身的拟合能力,方差刻画对训练集扰动的敏感度,噪声是任务难度的下界。模型越复杂,偏差下降而方差上升,两者之和的最小值才对应最佳复杂度。过拟合与欠拟合 是这条曲线两端的两种病:前者方差过大,后者偏差过大,二者的区别可以直接从训练误差与验证误差的差距读出来。对策除了加数据、清数据,最直接的是在损失上加与参数复杂度相关的惩罚项,把经验风险最小化改成结构风险最小化,见 正则化:L1 稀疏 L2 衰减。
第三节先给出 数据挖掘的六步流程:业务理解、数据分析、特征工程、模型选择、模型评估、项目落地。其中特征工程与模型选择需要反复往返——线性模型做不了非线性划分时,往往要回到特征工程造交互项。特征工程内部的顺序是”清洗 → 处理 → 交互/映射”:清洗阶段先解决缺失值,五种方式的代价见 缺失值填充的五种策略;处理阶段统一量纲并做类别编码,方法对比见 特征处理:量纲与编码。
最后是调参。模型选择有两条互补路线:正则化从模型复杂度入手,交叉验证从数据使用方式入手。操作顺序是先把数据切成训练/测试,再用 S 折交叉验证估计泛化误差;模型族确定后,用网格搜索遍历参数组合或用随机搜索采样,每组都用交叉验证打分,取平均误差最小者,最后用全量训练集重训并在测试集验收,见 交叉验证与网格搜索调参。
本章不推导任何具体算法,它提供的是一套”验收与调优”的语言。第3章的线性回归正好练手:模型是 h(x)=wx+b,策略是最小化均方误差(与本章的 MSE 指标同源),算法是梯度下降,而 Lasso、岭回归、ElasticNet 三个变体不过是本章正则化概念的直接落地。
原书依据 · 14 处
- 第2章 机器学习工程实践 2.1.1 回归模型的评估指标 · 查看原书依据
- 第2章 机器学习工程实践 2.1.2 分类模型的评估指标 · 查看原书依据
- 第2章 机器学习工程实践 2.1.2 分类模型的评估指标 · 查看原书依据
- 第2章 机器学习工程实践 2.1.2 分类模型的评估指标 · 查看原书依据
- 第2章 机器学习工程实践 2.1.3 聚类模型的评估指标 · 查看原书依据
- 第2章 机器学习工程实践 2.1.3 聚类模型的评估指标 · 查看原书依据
- 第2章 机器学习工程实践 2.1.4 常用距离公式 · 查看原书依据
- 第2章 机器学习工程实践 2.2.1 偏差与方差 · 查看原书依据
- 第2章 机器学习工程实践 2.2.2 过拟合与正则化 · 查看原书依据
- 第2章 机器学习工程实践 2.2.2 过拟合与正则化 · 查看原书依据
- 第2章 机器学习工程实践 2.3.1 数据挖掘项目流程 · 查看原书依据
- 第2章 机器学习工程实践 2.3.2 特征工程 · 查看原书依据
- 第2章 机器学习工程实践 2.3.2 特征工程 · 查看原书依据
- 第2章 机器学习工程实践 2.3.3 模型选择与模型调优 · 查看原书依据
第03章 线性回归
第3章是全书第一个具体模型,也是”模型—策略—算法”三段式方法的样板。前两章分别讲了机器学习要解决什么问题、以及工程上怎么验收,这一章把这些框架落到一个可解、可解释的模型上:假设、目标函数、求解方法、工程实现,一条线走完。
问题引入部分先把回归的几何图像立起来:回归是曲线拟合数据点,用一条直线或曲面穿过已知样本,让整体偏差最小,然后用它给新样本读数。房价的例子说明了一件事——模型的全部内容就是”特征乘权重再求和”,预测只是代入。
模型建立给出 h(x) = wx + b,其中 w 是各特征的影响力、b 是基准值,两者都是待定的符号(线性回归的模型表达式)。策略负责定义”待定参数取什么算好”:用所有样本预测值与真实值之差的平方和作为损失,最小化它就是最小二乘(为什么用均方误差作损失)。选平方而不是绝对值,是因为它处处可导、能放大大偏差、且与欧氏距离的直觉一致;代价是对离群点敏感。
算法负责把最优化问题解出来。书中给出的是梯度下降:对 w 和 b 求偏导得到更新式,沿负梯度方向迭代,学习率 η 决定每步步长(梯度下降求解线性回归)。把三段连起来就是四步流程:初始化 → 随机取一个样本 → 按残差更新 → 重复至收敛(线性回归的训练流程)。注意其中每次只用一个样本,属于随机梯度式的更新,所以损失曲线是抖动下行的。
工程实现部分给出四个类,模型形式完全相同,差别只在惩罚项:无正则的 LinearRegression、L1 的 Lasso、L2 的 Ridge、L1+L2 的 ElasticNet。它们的 fit/predict/score 接口一致,可以互换做对比。普通线性回归要注意 score 返回的是 R² 而不是准确率,可以为负(coef_ 与 R² 得分);Lasso 回归做特征选择 利用 L1 把无用特征的权重压到 0;岭回归的权重衰减 利用 L2 让系数整体收缩,在共线数据上更稳,并按数据形态选择 solver;ElasticNet 混合正则 用 l1_ratio 调和两者。四者的选择规则见 四种线性回归怎么选。
本章末尾用波士顿房价数据做了一次完整演练:用 ElasticNet 拟合并报告得分与权重,预测值与真实值基本吻合。小结还指出回归适用于序列预测,只要把时间序列排成”样本 × 特征”的表即可——同一只股票在不同时刻要算作不同样本(用回归预测时间序列)。这条思路也解释了为什么后面的 CART 回归树与集成模型能直接接替线性回归:它们处理的是同一类目标,只是换了拟合方式。
原书依据 · 11 处
- 第3章 线性回归 3.1 问题引入 · 查看原书依据
- 第3章 线性回归 3.2.1 模型建立 · 查看原书依据
- 第3章 线性回归 3.2.2 策略确定 · 查看原书依据
- 第3章 线性回归 3.2.3 算法求解 · 查看原书依据
- 第3章 线性回归 3.2.4 线性回归模型流程 · 查看原书依据
- 第3章 线性回归 3.3.1 普通线性回归 · 查看原书依据
- 第3章 线性回归 3.3.2 Lasso回归 · 查看原书依据
- 第3章 线性回归 3.3.3 岭回归 · 查看原书依据
- 第3章 线性回归 3.3.4 ElasticNet回归 · 查看原书依据
- 第3章 线性回归 3.3 线性回归的scikit-learn实现 · 查看原书依据
- 第3章 线性回归 3.5 小结 · 查看原书依据
第04章 朴素贝叶斯
朴素贝叶斯解决的是”给定一组特征,判断它属于哪一类”。它选了与逻辑回归完全不同的路线:不直接学决策边界,而是先统计每一类长什么样(先验概率、类条件概率),再用贝叶斯定理反推后验概率(朴素贝叶斯是生成模型)。这条路线的每一步都能靠数数完成,不需要迭代求解。
公式可以现场拼:条件概率公式给出后验的表达式,乘法公式消掉分子里的联合概率,全概率公式消掉分母,三步合起来就是贝叶斯定理。落地时还有一个关键化简——分母对所有类别相同,所以比较后验大小等于比较分子 P(X|Y)P(Y) 的大小(贝叶斯定理由三步拼成)。
真正的困难在分子里。P(X|Y) 是 M 个特征的联合条件概率,直接统计会随维度指数爆炸,于是引入特征条件独立假设,把它拆成连乘:参数从 S^M 降到 K×M,这是朴素贝叶斯可用的前提;代价是把相关特征重复计权,概率值过度自信(条件独立假设换取可计算性)。连乘带来第二个问题:某个词在某一类中从未出现,计数就是 0,整类概率归零,所以必须平滑,分子加 α、分母加 Kα,α=1 即拉普拉斯平滑(零概率与拉普拉斯平滑)。决策规则本身也该确认一次:取最大后验,在 0-1 损失下恰好等价于最小化期望风险,它不是拍脑袋的约定(后验最大等价风险最小)。
三种形式的分歧只在 P(X|Y) 假定什么分布:高斯型用于连续特征,多项式型用于离散计数,伯努利型只用于 0/1 特征(三种形式按特征分布选型)。文本分类通常走多项式或伯努利,两者的差别在于是否把”词没出现”也计入似然。
文本落地时,中文要先分词把文本变成结构化对象,再用 CountVectorizer 得到词频矩阵、TfidfTransformer 加权。TF 衡量词在这篇文档里有多重要,IDF 衡量它在整个语料中有多少区分度,两者相乘才压得住”的”“是”这类到处高频的通用词(TF-IDF压制通用词)。整条链上最容易出错的是预测集必须复用训练集的词表,否则列的含义错位而程序不报错(中文文本分类流水线)。
本章的位置:它是第一个概率模型,与第 3 章”学参数”的线性回归、第 7 章”学边界”的逻辑回归形成对照;下一章 K 近邻走向另一个极端——连参数都不学。它的取舍也很清楚:用特征独立换来极低的计算成本和极高的稳定性,代价是精度上限不高(朴素贝叶斯的适用边界)。
落地时还有两点值得单独记:整条垃圾邮件流程只有“分词建词袋 → 统计条件概率 → 比较后验”三步(词袋与垃圾邮件三步分类);而三个 sklearn 类分别对应三种分布假设,选错类比调错参更常见(朴素贝叶斯的调用要点)。
原书依据 · 11 处
- 第4章 朴素贝叶斯 4.1 概述 · 查看原书依据
- 第4章 朴素贝叶斯 4.2.1 朴素贝叶斯基本原理 · 查看原书依据
- 第4章 朴素贝叶斯 4.2.1 朴素贝叶斯基本原理 · 查看原书依据
- 第4章 朴素贝叶斯 4.2.2 原理的进一步阐述 · 查看原书依据
- 第4章 朴素贝叶斯 4.2.3 后验概率最大化的含义 · 查看原书依据
- 第4章 朴素贝叶斯 4.2.4 拉普拉斯平滑 · 查看原书依据
- 第4章 朴素贝叶斯 4.3 朴素贝叶斯的三种形式及scikit-learn实现 · 查看原书依据
- 第4章 朴素贝叶斯 4.3 朴素贝叶斯的三种形式及scikit-learn实现 · 查看原书依据
- 第4章 朴素贝叶斯 4.4.2 项目过程 · 查看原书依据
- 第4章 朴素贝叶斯 4.4 中文文本分类项目 · 查看原书依据
- 第4章 朴素贝叶斯 4.5 小结 · 查看原书依据
第05章 K近邻
K 近邻是机器学习里假设最少的模型:把样本看成 N 维空间中的点,标签是点的类别,预测一个新点时找离它最近的 K 个点,看它们多数是什么类(模型就是训练集本身)。它没有真正的训练过程——训练阶段只是把数据存下来,全部计算推迟到预测时。这带来两个直接后果:样本可以边收边用,不必等全量数据到齐;但预测成本随样本量线性增长,哪怕只判一个样本也要算遍所有点。模型的全部自由度只有三样:K 值、距离度量、决策规则(三要素确定KNN)。三者定下,任何新样本的结果都唯一确定,没有别的可调之处。
K 决定看多远。K 小,邻域只有最近的点,近似误差小、估计误差大,一个噪声点就能决定结果;K 大,远处不相似的点也进入投票,估计误差下降但近似误差上升,极端情况下永远输出多数类。这是偏差与方差的权衡,实际取值靠交叉验证(K值的偏差方差权衡)。
距离决定谁算近。闵可夫斯基距离在 p=1 时是曼哈顿、p=2 时是欧氏,p 越大越被单维差异主导;0/1 编码更适合汉明距离。但比”选哪种距离”更要紧的是归一化:量纲差异会让取值范围大的特征自动主导距离,把小取值却重要的特征掩盖掉(距离度量与归一化)。
决策规则在分类里是多数表决,它可以被证明:0-1 损失下最小化误分类率,等价于取邻域内出现最多的类别,也就是经验风险最小化(多数表决等价风险最小)。回归只把这一步换成取均值,前两个要素完全复用(回归改为取均值)。
预测要遍历所有点,样本量大时不可接受,于是有了 KD 树。构造时轮流选坐标轴、按该轴排序取中位数作切分点,把空间切成一系列超矩形,树因此保持平衡(KD树的构造)。搜索分两段:先按比较一路向下到叶子拿到初始候选,再逐级回溯。回溯时以目标点为球心、以当前最近距离为半径画球,若球与另一侧的超平面不相交,那一侧所有点都不可能更近,整枝跳过——这是精确剪枝而非近似(KD树的搜索与剪枝)。
最后是两条实践约束:预测前必须归一化;K 值与距离度量要一起调(K近邻的调用要点)。它与第 4 章正好构成对照:朴素贝叶斯把训练集压缩成一组概率,K 近邻则一点不压缩,用”局部相似即同类”这条朴素信念换来了实现上的简单(K近邻的适用边界)。
第06章 决策树
决策树用一棵树把”分几步判断”显式写出来:内部节点对某个特征提问,分支对应取值,叶子给出类别或数值。新样本从根走到某个叶子,路径上的条件就是它被判成该结果的理由,规则可见可复核。建树要回答三件事——每步用哪个特征、怎么切、切到多细,即决策树的三要素。
特征选择需要一把可计算的尺子。熵度量标签的不确定性,全部同类时为 0,类别越均匀越大;用某特征分组后各组熵按占比加权平均得到条件熵,两者之差就是信息增益——划分让不确定性降了多少。贷款例子里按”是否拥有房产”划分增益 0.1046,按”婚姻状况”是 0.1029,于是先问房产。增益偏向取值多的特征(切得碎、每组碰巧很纯),所以除以特征自身的熵得到信息增益比压制多取值特征来校正。基尼系数与基尼指数是另一把尺子,含义是随机抽两个样本类别不同的概率,不用对数、更快,后来成为 CART 的分类准则。
三种模型是逐层修补。ID3的递归生成流程用增益、按选中特征的所有取值开多叉、特征用一次即弃;C4.5对ID3的三处修补换成增益比、把连续特征排序后按标签翻转点取阈值二分、并用阈值做预剪枝;CART为何用二叉树反复切分改成二叉切分,以”特征+切分点”为最小选择单位,同一特征可在不同层反复使用,还能用平方误差做回归。每一步都在回应上一步的具体缺陷。
剪枝处理”切到多细”。先剪枝生成时设阈值早停,便宜但短视;后剪枝先长满最大树,再自底向上按 L(α,T)=L(T)+α|T| 评估,得到嵌套子树序列后用验证集挑最优(预剪枝与后剪枝的代价)。α 是”每多一个叶子要付多少代价”的单价,单价高树就小。
工程上 scikit-learn 只实现 CART,用 criterion 切换基尼/熵,用 max_depth、min_samples_leaf 控复杂度,用 class_weight 应对不平衡(决策树的关键参数)。它不做标准化也能工作,因为切分只比较同一特征内部的顺序。单树方差大,实际多作随机森林与 GBDT 的基学习器(决策树的优缺点与集成基模型)。
读这一章时有四个容易被跳过、但后面会反复用到的点:熵如何度量不确定性(用熵度量不确定性)、信息增益就是熵的下降量(信息增益是熵的下降量)、回归问题为何改用平方误差(CART回归树用平方误差切分),以及树为什么不要求特征缩放(决策树为何不要求特征缩放)。
原书依据 · 13 处
- 第6章 决策树 6.1 概述 · 查看原书依据
- 第6章 决策树 6.2.1 信息增益 · 查看原书依据
- 第6章 决策树 6.2.1 信息增益 · 查看原书依据
- 第6章 决策树 6.2.2 信息增益比 · 查看原书依据
- 第6章 决策树 6.2.3 基尼系数 · 查看原书依据
- 第6章 决策树 6.3.1 ID3决策树 · 查看原书依据
- 第6章 决策树 6.3.2 C4.5决策树 · 查看原书依据
- 第6章 决策树 6.3.3 CART决策树 · 查看原书依据
- 第6章 决策树 6.3.3 CART决策树 · 查看原书依据
- 第6章 决策树 6.3.3 CART决策树 · 查看原书依据
- 第6章 决策树 6.4 决策树的剪枝 · 查看原书依据
- 第6章 决策树 6.5 决策树的scikit-learn实现 · 查看原书依据
- 第6章 决策树 6.7 小结 · 查看原书依据
第07章 Logistic回归
Logistic 回归要解决的是”给定样本,输出它属于正类的概率”。线性回归 w·x+b 的值域是整条实轴,无法当概率;套上 Sigmoid 后压进 (0,1),0.5 表示拿不准,越正越像正例(线性回归套Sigmoid)。决策边界仍是 w·x+b=0 的超平面,所以它本质是线性分类器,只是把打分翻译成了概率,阈值可按业务需要上下调。
换个角度更清楚:把正例概率记作 p,p/(1−p) 是几率,取对数后值域变成整条实轴,恰好与线性输出对齐,即 log(p/(1−p)) = w·x+b。所以线性部分拟合的不是概率而是对数几率(对数几率:线性部分拟合的是什么),这也是它被称为”对数几率回归”的由来。系数于是有了直接读法——w_j 增加 1,几率乘以 e^{w_j};要横向比大小得先统一到 logit 尺度,否则量纲会误导(用系数符号校验业务直觉)。
参数估计走极大似然:写出正反例概率的合成式,连乘得似然,取对数把乘变加,最大化它等价于最小化负对数似然 −Σ[y log p+(1−y) log(1−p)],即对数损失或二分类交叉熵(极大似然导出对数损失)。不用平方损失不是习惯问题:Sigmoid 代进均方误差后损失关于 w 非凸,可能停在局部极小;对数损失是凸的,且梯度化简成 Σ(p−y)x,误差越大修正越猛(为什么不用平方损失)。求解就用这个梯度迭代,学习率 η 定步长(梯度下降求解)。
多分类时给每类一组权重,用 softmax 把 K 个分数归一成和为 1 的概率,K=2 时退化为 Sigmoid(用Softmax做多分类)。与 one-vs-rest 相比,softmax 的各类参数相互竞争、概率天然归一;OvR 训 K 个独立二分类器,适合多标签场景。
两件工程事必须处理:正则化(L2 收缩权重、L1 产生稀疏解,sklearn 用 C=1/λ,C 越小正则越强,且 sag/newton-cg/lbfgs 只支持 L2,L1与L2正则);类别不平衡(class_weight=‘balanced’ 让权重与类别频率成反比,代价是输出概率偏离原始先验,类别不平衡的权重修正)。数据准备上,缺失过多的列删除、重要列用模型填充、类别列 one-hot、数值列标准化,测试集必须复用训练集的同一套变换(建模前的数据准备)。
边界也要认清:它直接建模后验概率、损失是凸的、稀疏高维下很轻,适合做基线;但决策边界线性,非线性问题靠人工特征,且对样本分布敏感(Logistic的适用边界)。名字里的”回归”是历史遗留,它做的是分类。
原书依据 · 11 处
- 第7章 Logistic回归 第7章 Logistic回归 · 查看原书依据
- 第7章 Logistic回归 第7章 Logistic回归 · 查看原书依据
- 第7章 Logistic回归 第7章 Logistic回归 · 查看原书依据
- 第7章 Logistic回归 第7章 Logistic回归 · 查看原书依据
- 第7章 Logistic回归 第7章 Logistic回归 · 查看原书依据
- 第7章 Logistic回归 第7章 Logistic回归 · 查看原书依据
- 第7章 Logistic回归 第7章 Logistic回归 · 查看原书依据
- 第7章 Logistic回归 第7章 Logistic回归 · 查看原书依据
- 第7章 Logistic回归 第7章 Logistic回归 · 查看原书依据
- 第7章 Logistic回归 第7章 Logistic回归 · 查看原书依据
- 第7章 Logistic回归 第7章 Logistic回归 · 查看原书依据
第08章 支持向量机
本章处理一个具体问题:两类点能被超平面分开时该选哪一个。感知机给最省事的答案——模型是 sign(w·x+b),以误分类点到超平面的总距离为损失,遇到分错的点就把超平面朝它推一步。代价是解不唯一(初值不同结果不同)、线性不可分时震荡、只能做二分类。见感知机就是一个符号函数、错一个点就推一次超平面。
SVM 把”分对”升级为”分得漂亮”:最近的点的几何间隔也要尽量大。几何间隔是函数间隔除以 ‖w‖,取其最小值作为数据集间隔;又因缩放 w、b 不改变超平面,可令最近点的函数间隔为 1,于是”最大化间隔”化为 min ½‖w‖² 的凸二次规划,解唯一。见把最近点的间隔推到最大。
直接解要对 w 的每一维操作,代价随特征维度增长。转成对偶后待求量变成 M 个乘子,规模只与样本数有关,回代后样本只以内积出现。KKT 互补条件进一步说明:只有压在边界上的点(支持向量)系数非零,其余点对超平面毫无影响——稀疏性与 b 的平均求法都由此而来。见对偶解法让内积露出来、只有边界上的点决定超平面。
线性不可分有两级解法。软间隔给每个点一个松弛变量,允许违约但按 C 收费,目标为 min ½‖w‖²+CΣξ,对偶式只是多了 α≤C;它同时等价于”合页损失 + L2 正则”,可见 SVM 的正则化不是外加技巧。核技巧则利用”只用到内积”这一点,把内积整体换成 K,等于在隐式高维空间里做线性 SVM。见给每个点一条可伸缩的边界、分对且够远才不罚、核函数不用真的映射到高维。
落地剩三件事:解 α 用 SMO,每次只动一对乘子(等式约束不允许单独改一个);调参围绕核函数、C、σ²,σ² 越小边界越尖、C 越大越贴合训练集;实现用 LinearSVC 或 SVC,并先标准化。SVM 强在小样本泛化与自带正则,弱在多分类要走一对多、超参数只能网格搜索;与逻辑回归的差别只在损失(合页 vs 对数)与用到的样本(支持向量 vs 全量)。见SMO每次只调两个乘子、核函数与C、σ²怎么选、SVM和LR到底差在哪。
补两处细节:感知机的损失为什么只计误分类点(损失只数误分类点的距离),以及 sklearn 把线性与核 SVM 分成两个类、选错类比调错参更常见(sklearn里的SVM怎么用)。
原书依据 · 13 处
- 第8章 支持向量机 8.1.1 感知机模型 · 查看原书依据
- 第8章 支持向量机 8.1.2 感知机学习策略 · 查看原书依据
- 第8章 支持向量机 8.1.3 感知机优化算法 · 查看原书依据
- 第8章 支持向量机 8.2.2 推导 · 查看原书依据
- 第8章 支持向量机 8.2.2 推导 · 查看原书依据
- 第8章 支持向量机 8.2.2 推导 · 查看原书依据
- 第8章 支持向量机 8.3 软间隔支持向量机 · 查看原书依据
- 第8章 支持向量机 8.4 合页损失函数 · 查看原书依据
- 第8章 支持向量机 8.5 非线性支持向量机 · 查看原书依据
- 第8章 支持向量机 8.5 非线性支持向量机 · 查看原书依据
- 第8章 支持向量机 8.2.2 推导 · 查看原书依据
- 第8章 支持向量机 8.6 SVM模型的scikit-learn实现 · 查看原书依据
- 第8章 支持向量机 8.8 小结 · 查看原书依据
第09章 随机森林
集成学习只回答两个问题:基学习器从哪来,怎么把它们合起来。前者分同质/异质、有无强关联,后者分均等投票与加权投票。据此分出 Bagging 与 Boosting 两族,本章只展开 Bagging 的代表随机森林。理解这一族的关键是:投票的价值来自分歧,若所有基学习器犯同样的错,平均毫无意义。见集成学习只回答两个问题。
Bagging 有放回地抽 N 个样本训练一个基学习器,重复 T 次,最后分类取众数、回归取均值。有放回是全部关键:每份子集只覆盖约 63% 的原样本,于是得到彼此不同又都不完整的训练集;基学习器同质且地位对等,所以用均等投票。见Bagging就是抽样加投票。
平均为什么有效?误差可拆为偏差、方差与噪声,平均只压方差。相关系数为 ρ 的 T 个模型平均后,方差为 ρσ²+(1−ρ)σ²/T:第二项随 T 递减,第一项是降不下去的地板。由此得到两个前提——基学习器必须不稳定(决策树正合适,线性模型几乎无收益),且彼此尽量不相关。见平均为什么能降方差。
随机森林在 Bagging 上加第二层随机:每个节点只从随机抽出的 m 个特征里选最优切分。原因正是上式——只做样本随机时,强特征会让所有树长得相似,ρ 接近 1,平均几乎不降方差。基学习器用 CART,故分类投票、回归取均值,副产品是可并行、对高维高效、对缺失不敏感。extra trees 则更进一步,连切分点也随机取。见随机森林的两层随机、比随机森林更随机的树。
RF 还顺带解决两个工程问题:每棵树约 37% 的样本没被抽到,可充当免费验证集(oob_score);不纯度下降可累加成特征重要性,用于定向补特征或粗筛维度。两者都有陷阱——OOB 依赖样本独立同分布,重要性偏爱高基数特征且会被相关特征分摊。见袋外样本是免费的验证集、哪个特征最有用。
书末逾期预测实例的教训更值钱:整体准确率 0.85、平均查准 0.79,逾期类查全率却只有 0.06,高分完全由多数类撑起。拿到指标先问它对业务意味着什么,再看混淆矩阵、处理不平衡、审视数据。此外,apply() 取样本在各树的叶子编号,可把”落进同一叶子”当作一种特征组合,自动构造高阶交叉特征,但 RF 叶子太多易维度灾难,工业界更常用 GBDT 做这一步。见0.85的准确率也可能没用、用叶子节点做特征交叉。
调参时把参数分成“几棵树、怎么抽样”与“树怎么长”两组分别看,比一次性搜一大片更有效率,见 随机森林怎么调参。
原书依据 · 10 处
- 第9章 随机森林 引言 · 查看原书依据
- 第9章 随机森林 9.1 Bagging模型 · 查看原书依据
- 第9章 随机森林 9.2 随机森林 · 查看原书依据
- 第9章 随机森林 9.2 随机森林 · 查看原书依据
- 第9章 随机森林 9.4 RF的scikit-learn实现 · 查看原书依据
- 第9章 随机森林 9.5.3 扩展 · 查看原书依据
- 第9章 随机森林 9.3 RF的推广——extra trees · 查看原书依据
- 第9章 随机森林 9.4 RF的scikit-learn实现 · 查看原书依据
- 第9章 随机森林 9.5.2 结果及分析 · 查看原书依据
- 第9章 随机森林 9.5.3 扩展 · 查看原书依据
第10章 AdaBoost
Bagging(随机森林)是并行训练再加平均投票:每棵树看一份重采样,彼此独立。Boosting 走另一条路:所有基学习器共用一份训练集,但必须串行训练,后一个要看着前一个的错误来调整。AdaBoost 把”纠错”具体化为两套权重——样本权重与基学习器投票权重。
机制是四步循环:
- 样本等权初始化,训练一个弱基学习器(默认浅层 CART);
- 用加权错误率 e_k 评价它,并算出投票权重 α_k;
- 用 α_k 改写样本权重:分错的乘 e^{α_k},分对的乘 e^{-α_k},再归一化回和为 1;
- 用新权重训练下一个基学习器,重复 K 轮,最后按 α_k 加权投票(回归则加权求和)。
两个公式各解决一个问题。α_k = ½ln((1−e)/e) 让优于随机猜测的基学习器拿到正权重,且越准权重越大;多分类时加一项 ln(L−1),把随机猜中率从 1⁄2 换成 1/L。样本权重更新则保证错分样本下一轮被放大。两者合起来的效果是:注意力自动移向难样本,话语权自动交给更准的成员。公式性质与数值演算见 误差率决定投票权重 和 误分样本权重指数放大。
把模型写成 fk = f{k−1} + α_k T_k,用指数损失 Σexp(−y f(x)) 做前向分步最小化,对 α_k 求导置零,得到的正是上面两式(只差归一化因子)。AdaBoost 因此可概括为”指数损失下的前向分步加法模型”,见 指数损失推出 AdaBoost。
推广有两条支线。多分类的 SAMME 只用误差率定票,SAMME.R 改用类别概率定票,因此要求基学习器能输出概率;回归版把 0-1 误差换成以最大误差归一化的相对误差,集成方式从投票改成加权求和。工程上由两个 sklearn 类的参数暴露,见 AdaBoost 的调参入口。
代价写在最后:错分样本权重被指数放大,噪声会一直分错、一直加权,后续学习器被迫围着它转;基学习器强关联也使它无法并行。这两点正是下一章提升树的改进起点——用平方损失把”重加权”换成”拟合残差”。
这一章的机制还可以从几个侧面补看:Boosting 与 Bagging 的根本差别在于基学习器训练时有无依赖(Boosting 靠串行纠错),AdaBoost 里同时存在样本权重与投票权重两套权重(AdaBoost 的两套权重),外壳不变、换基学习器只需它支持样本权重(重加权样本即可复用单模型),输出合成在分类与回归上规则不同(集成输出的两种合成)。多分类的 SAMME.R 改用概率定票(SAMME.R 用概率定票),回归版改用相对误差(回归版用相对误差);训练结束后读三条曲线的方法见 三条训练曲线的读数,而“精度高、不易过拟合”这句话的适用条件见 噪声敏感来自权重放大。
原书依据 · 12 处
- 第10章 AdaBoost 第10章 导语 · 查看原书依据
- 第10章 AdaBoost 10.1 AdaBoost的结构 · 查看原书依据
- 第10章 AdaBoost 10.1.1 AdaBoost的工作过程 · 查看原书依据
- 第10章 AdaBoost 10.1.2 AdaBoost多分类问题 · 查看原书依据
- 第10章 AdaBoost 10.1.2 AdaBoost多分类问题 · 查看原书依据
- 第10章 AdaBoost 10.1.2 AdaBoost多分类问题 · 查看原书依据
- 第10章 AdaBoost 10.1.2 AdaBoost多分类问题 · 查看原书依据
- 第10章 AdaBoost 10.1.3 AdaBoost的回归问题 · 查看原书依据
- 第10章 AdaBoost 10.2 AdaBoost的原理 · 查看原书依据
- 第10章 AdaBoost 10.3 AdaBoost的scikit-learn实现 · 查看原书依据
- 第10章 AdaBoost 10.4 AdaBoost使用实例 · 查看原书依据
- 第10章 AdaBoost 10.5 AdaBoost的优/缺点 · 查看原书依据
第11章 提升树
提升树 = 加法模型 + 前向分步 + 决策树:最终模型是 K 棵 CART 树之和,逐棵累加;分类用 CART 分类树,回归用 CART 回归树。与 AdaBoost 的差别是纠错信号从”样本权重”换成了”残差”,见 提升树是加法模型。
一步代数就能看出原因:平方损失下把 fk = f{k−1} + T_k 代入,损失变成 [R_k − T_k]²,Rk = y − f{k−1}(x) 即残差,于是第 k 轮只需用树拟合 R_k。原文的四用户年龄例子正是如此:第一棵树按消费额分,叶子均值 15 与 25,残差变成 −1/+1;第二棵树按上网类型分,残差归零。训练集完全拟合,但外推样本仍有 4 岁误差,见 平方损失把目标变成残差 与 残差迭代的训练循环。
残差只在平方损失下成立。Friedman 改用负梯度:一阶泰勒展开后取 T_k = −∂L/∂f,即可保证损失不增,且只要求 L 对预测值可微。平方损失下负梯度正比于残差,说明前者是后者的特例;又因负梯度是实数、可加,基学习器被限定为 CART 回归树,见 用负梯度替代残差。
GBDT/GBRT 的一轮训练因而是:算负梯度 → 回归树拟合 → 叶子取该区域均值 → 按步长 η 累加,见 GBDT 的一轮训练。η 常取 0.1,因为单棵树估计有偏,小步多走更细,代价是轮数成倍增加。分类只换损失:二分类用对数似然,叶子输出要按该损失单独求最优解,见 做分类只换损失函数。噪声大时把 loss 换成 huber,这是 GBDT 比 AdaBoost 抗噪的开关,见 GBDT 调参四维度。
两条实用延伸:用 apply() 取叶子编号再 one-hot,把树学到的特征组合交给 LR,AUC 从 0.9576 升到 0.9717(叶子编码做组合特征);参数则集中在轮数与步长、树复杂度、采样、损失四个维度。
XGBoost 在此之上做了三处改动:损失二阶展开并加正则项,得到叶子权重闭式解 w* = −G/(H+λ)(二阶展开加正则项);用该解析解构造分裂增益、贪心建树(用增益给分裂打分);工程侧补上列抽样、后剪枝、缺失值默认方向与特征粒度并行(并行在特征粒度、剪枝缺失值与列抽样)。
两处工程细节值得单独记:每棵树前乘一个缩减系数,能让逼近更细(步长缩减让逼近更细);XGBoost 的参数按作用分成三类,调参先分清在哪一层动手(XGBoost 三类参数)。
原书依据 · 14 处
- 第11章 提升树 11.1 提升树的定义 · 查看原书依据
- 第11章 提升树 11.1 提升树的定义 · 查看原书依据
- 第11章 提升树 11.1 提升树的定义 · 查看原书依据
- 第11章 提升树 11.2 梯度提升树 · 查看原书依据
- 第11章 提升树 11.2.2 GBDT和GBRT模型的处理过程 · 查看原书依据
- 第11章 提升树 11.2.2 GBDT和GBRT模型的处理过程 · 查看原书依据
- 第11章 提升树 11.2.2 GBDT和GBRT模型的处理过程 · 查看原书依据
- 第11章 提升树 11.2.3 梯度提升模型的scikit-learn实现 · 查看原书依据
- 第11章 提升树 11.2.4 梯度提升模型的scikit-learn使用实例 · 查看原书依据
- 第11章 提升树 11.3.1 XGBoost的原理 · 查看原书依据
- 第11章 提升树 11.3.1 XGBoost的原理 · 查看原书依据
- 第11章 提升树 11.3.3 XGBoost与GBDT的比较 · 查看原书依据
- 第11章 提升树 11.3.3 XGBoost与GBDT的比较 · 查看原书依据
- 第11章 提升树 11.3.2 XGBoost调参 · 查看原书依据
第12章 聚类
聚类是”没有标签的分类”:给一堆样本,按相似程度分成若干子集,使簇内紧密、簇间松散。因为没有标准答案,算法只能优化某个内部准则,簇数也往往事先未知——这两点决定了本章所有方法的差异。原文按”紧密”的定义方式分了五路:K-Means 看到中心的距离,层次聚类看簇间距离,DBSCAN 看邻域密度,谱聚类看图上子图内部的边权,GMM 看服从同一高斯的概率。
K-Means 是这一族的地基。它把目标写成簇内均方误差之和,用”分配样本→用均值更新中心”两步交替下降:给定划分,均值是该簇平方误差最小的点;给定中心,归到最近中心也是最优。两步都不升损失,所以必然收敛,但只能收敛到局部最优,起点不同结果就可能不同,详见 K-Means 的分配与更新。由此派生两个改进:k-means++ 让初始中心彼此尽量远离,以减少迭代次数和坏解(k-means++ 选初始中心);Mini Batch K-Means 先无放回采样再聚类,用一点精度换大数据上的速度。
K 值难定是 K-Means 的结构性短板:簇内均方误差随 K 增大单调下降,无法用作选择标准,只能人工试探或超参搜索,或者干脆换用能自己长出簇数的方法(K 值为什么只能试出来)。层次聚类正是这样一条退路:先把样本逐层合并成一棵树,再决定切哪一层——要 K 类,就切子节点数为 K 的那层。代价是需要计算所有样本两两距离;而且”簇间距离”取最小、最大还是平均会改变合并顺序,进而改变结果(三种簇间距离改变合并顺序)。
DBSCAN 改用密度:由 (ε, MinPts) 定出核心对象,再靠”密度直达—密度可达—密度相连”把点串成簇,落不进任何核心对象邻域的点标为噪声。它不需要指定簇数、能处理任意形状、天然抗异常,但要求密度大致均匀,且 ε 极其敏感——同一份数据,ε=0.5 时全并成一类,ε=0.08 才分得开(ε 一改,聚类全变)。谱聚类则把样本连成相似图,用最小割切图,借拉普拉斯矩阵的特征向量做松弛(RatioCut/Ncut 用来避免切出孤立点),最后在低维嵌入上再跑一次 K-Means(谱聚类把聚类变成切图)。
GMM 换成概率视角:假设数据由 K 个高斯加权混合而成,用 EM 交替估计——E 步算后验(软归属),M 步用后验概率加权更新各成分的均值与协方差(EM 抬高似然的下界)。相比 K-Means 的硬分配,GMM 输出”60% 属于 A”这样的概率,并用协方差刻画簇的尺寸与朝向。
选型的判断顺序可以固定为四问:簇是什么形状(凸、任意形状还是弯曲流形)、密度是否均匀、需不需要概率输出、样本量与维度有多大。本章没有普适最优的算法,只有在特定数据形状下成立的假设。
把本章的方法谱系按“紧密怎么定义”串起来会更清楚:先看聚类要解决的问题本身(聚类把样本分成紧密的簇),再看 K-Means 的适用边界(K-Means 的适用边界)与调参的四个抓手(K-Means调参的四个抓手)。换一种定义就有另一族方法:层次聚类的合并与分裂(层次聚类的合并与分裂)、DBSCAN 的密度概念链(DBSCAN 的密度概念链)与从种子长成簇的过程(DBSCAN 从种子长成簇)及其形状自由与代价(DBSCAN 的形状自由与代价)、谱聚类先建图再降维再聚类(谱聚类先降维再聚类),最后是 GMM 用多个高斯拼出分布(GMM 用多个高斯拼出分布)。
原书依据 · 16 处
- 第12章 聚类 12.1 聚类问题介绍 · 查看原书依据
- 第12章 聚类 12.2.1 K-Means聚类过程和原理 · 查看原书依据
- 第12章 聚类 12.2.1 K-Means聚类过程和原理 · 查看原书依据
- 第12章 聚类 12.2.2 K-Means算法优化 · 查看原书依据
- 第12章 聚类 12.2.3 小结 · 查看原书依据
- 第12章 聚类 12.2.4 K-Means应用实例 · 查看原书依据
- 第12章 聚类 12.3.1 层次聚类的过程和原理 · 查看原书依据
- 第12章 聚类 12.3.1 层次聚类的过程和原理 · 查看原书依据
- 第12章 聚类 12.4.1 密度聚类过程和原理 · 查看原书依据
- 第12章 聚类 12.4.1 密度聚类过程和原理 · 查看原书依据
- 第12章 聚类 12.4.2 小结 · 查看原书依据
- 第12章 聚类 12.4.3 密度聚类应用实例 · 查看原书依据
- 第12章 聚类 12.5.1 谱聚类的过程和原理 · 查看原书依据
- 第12章 聚类 12.5.1 谱聚类的过程和原理 · 查看原书依据
- 第12章 聚类 12.6.1 高斯混合聚类过程和原理 · 查看原书依据
- 第12章 聚类 12.6.2 EM算法 · 查看原书依据
第13章 降维
降维要解决的是”特征太多”:一部分特征对预测没有贡献,还带来噪声和计算量。三条主线的分工可以用一句话区分——SVD 是矩阵分解工具,PCA 与 LDA 是投影降维方法,而 PCA、LDA 在求解投影矩阵时默认都用 SVD 实现。
要理解 SVD,先理解特征分解。方阵若可对角化,就能写成 A=QΣQ⁻¹:换到特征向量这组基上,线性变换只剩伸缩。但它要求矩阵是方阵且可对角化,而数据矩阵是 M×N,用不了。SVD 正是为此而生:A=UΣVᵀ,U 由 AAᵀ 的特征向量组成,V 由 AᵀA 的特征向量组成,奇异值是特征值开平方(SVD 把非方阵拆成三块)。三个矩阵分别承担旋转、缩放、旋转,任意矩阵的作用都被拆开。奇异值衰减很快,取前 K 个就能近似原矩阵,这既是图像压缩与降噪的原理,也是 PCA 可以用 SVD 实现的原因(少数奇异值撑起整个矩阵)。
PCA 的无监督目标是”投影后尽量分开”。它有两条看似不同的推导:最小化重构误差(投影后还还原得像)与最大化投影方差(投影后铺得开)。二者等价——总散布固定,解释得多,剩下没解释的就少——最终都归结为对 XXᵀ(实践中是去中心化后的协方差矩阵)做特征分解,取最大的 N′ 个特征值对应的特征向量组成投影矩阵(PCA 的两条路通向同一解)。N′ 可以用 0.95 的累计方差阈值定,也可以用交叉验证按下游模型性能定(主成分取几个才够)。若数据结构本身是弯曲的、线性超平面不成立,就改用核 PCA:先做非线性映射再线性降维,效果往往是把数据直接变得线性可分(核 PCA 先升维再线性降维)。
LDA 把标签引进来,目标是”类内方差最小、类间方差最大”。写成矩阵就是最大化 wᵀS_b w / wᵀS_w w,这是广义瑞利熵,最大值对应 S_w⁻¹S_b 的最大特征值;二分类时可简化为 w ∝ S_w⁻¹(μ₂−μ₁),最佳方向只由两类均值和类内散布决定(LDA 归结为一个瑞利熵)。也正因为依赖类别数,类间散度矩阵的秩不超过 k−1,降维维度被限制在 N′ ≤ k−1,这一点与 PCA 有本质区别。
LLE 走的是另一条路:不保全局方差,只保局部线性关系。每个样本用 K 个近邻线性表示,求出权重后在低维空间保持同一组权重,最终化为对 M=(I−W)ᵀ(I−W) 求最小特征向量,并丢掉对应全 1 向量的那个(LLE 先求权重再求坐标)。它适合展开不闭合的弯曲流形,但要求采样稠密均匀,且对近邻数敏感。
选型上可以这样判断:无标签、要压缩或可视化,用 PCA(非线性结构用 KPCA);有标签且下游是分类,用 LDA,同时接受 k−1 的维度上限;数据明显是弯曲流形、且采样足够稠密,才考虑 LLE 这类流形学习方法。
把这一章的方法放在一起看:三种降维方法的分工(三种降维方法的分工)、特征分解为何只对方阵有效(特征分解只对方阵有效)、PCA 找的是方差最大的轴(PCA 找一条最能分开的轴)及其输出怎么读(PCA 的输出怎么读)、LDA 让类间远类内近(LDA 让类间远类内近)、它与 PCA 的异同(LDA 与 PCA 的异同)和“既能降维也能分类”的双重身份(LDA 既能降维也能分类),最后是 LLE 保持邻域线性关系(LLE 保持邻域的线性关系)。
原书依据 · 15 处
- 第13章 降维 13 降维(章首引言) · 查看原书依据
- 第13章 降维 13.1.1 矩阵的特征分解 · 查看原书依据
- 第13章 降维 13.1.2 奇异值分解 · 查看原书依据
- 第13章 降维 13.1.2 奇异值分解 · 查看原书依据
- 第13章 降维 13.2 主成分分析 · 查看原书依据
- 第13章 降维 13.2.1 PCA原理推导 · 查看原书依据
- 第13章 降维 13.2.1 PCA原理推导 · 查看原书依据
- 第13章 降维 13.2.2 核化PCA · 查看原书依据
- 第13章 降维 13.2.3 PCA/KPCA的scikit-learn实现 · 查看原书依据
- 第13章 降维 13.3 线性判别分析 · 查看原书依据
- 第13章 降维 13.3.1 LDA原理推导 · 查看原书依据
- 第13章 降维 13.3.2 LDA与PCA的比较 · 查看原书依据
- 第13章 降维 13.3.3 LDA应用实例 · 查看原书依据
- 第13章 降维 13.4.1 局部线性嵌入介绍 · 查看原书依据
- 第13章 降维 13.4.2 局部线性嵌入过程和原理 · 查看原书依据
第14章 Word2Vec和Doc2Vec词向量模型
词是离散符号,模型只能处理数字。最直接的表示是 one-hot:词表多大向量就多长,而且任意两个词的向量互相垂直、距离完全相同——维度爆炸,语义为零。本章要解决的就是这件事:用训练出来的稠密短向量,让语义相近的词在空间里彼此靠近(词向量让语义变成距离)。这种表示同时完成了两件事,把词语压到几十到几百维,又把”上下文相似”编码进了几何位置(词向量比one-hot强在哪)。
Word2Vec 并不直接优化”向量要好”,而是让向量去完成一个预测任务,训练完成后向量自然带上语义。任务有两个方向:CBOW 用窗口内的上下文词预测中心词,Skip-Gram 用中心词预测上下文,输入输出正好相反(CBOW与Skip-Gram方向相反)。方向之外还有输出层的代价问题:词表 V 很大时,softmax 要对每个词算一次分。Hierarchical Softmax 按词频建哈夫曼树,把”V 选 1”变成沿根到叶的一串二分类,路径长度约 log V(哈夫曼树把V分类降为logV);Negative Sampling 更彻底,把多分类改成”这对词是真的还是随机凑的”二分类,每次只更新 k 个负样本(负采样把多分类变二分类)。
CBOW 的投影层没有非线性,只是把 2n 个上下文词向量求和或取平均,梯度再原样分摊回每个词(上下文求和得到投影向量)。这也解释了 CBOW 为什么快:一个样本只做一次预测,却能更新窗口内所有词向量。工程上怎么选,原书给了一张经验表——Skip-Gram 慢但对罕见词有利,CBOW 快;分层 Softmax 偏罕见词,负采样偏常见词与低维向量;窗口 Skip-Gram 约 10、CBOW 约 5(Word2Vec的选型取舍)。
词向量训好后,最省事的文档表示是把词向量取平均,但平均是可交换运算,词序信息被抹掉(词向量平均丢掉了词序)。Doc2Vec 为此增加段落向量:每个文档一个 id,映射成与词向量同维但属于另一空间的向量,并在该文档的所有窗口间共享;PV-DM 用上下文加段落向量预测中心词,PV-DBOW 只用段落向量预测随机词,预测新文档时固定其余参数、只训练新 id 的段落向量(Doc2Vec给文档一个向量)。
动手时按四步走:
- 分词并统计词频,用
min_count裁词表,必要时按sample对高频词降采样; - 选架构与算法(
sg与hs的组合),设定size、window(Gensim训练词向量的参数); - 训练后用
most_similar检查近邻是否符合直觉,再回头调维度与窗口; - 文档级任务改用 Doc2Vec,按
dm选 PV-DM 或 PV-DBOW(Doc2Vec的Gensim用法)。
两条加速路线(分层 Softmax 与负采样)是并列的,都建立在”预测任务产生向量”这同一个框架上;理解这一点,后面各种词向量变体就只是换了预测任务或采样方式。
原书依据 · 11 处
- 第14章 Word2Vec和Doc2Vec词向量模型 14.1.1 Word2Vec概述 · 查看原书依据
- 第14章 Word2Vec和Doc2Vec词向量模型 14.2.1 Doc2Vec模型原理 · 查看原书依据
- 第14章 Word2Vec和Doc2Vec词向量模型 14.1.1 Word2Vec概述 · 查看原书依据
- 第14章 Word2Vec和Doc2Vec词向量模型 14.1.2 基于Hierarchical Softmax方法的CBOW模型 · 查看原书依据
- 第14章 Word2Vec和Doc2Vec词向量模型 14.1.2 基于Hierarchical Softmax方法的CBOW模型 · 查看原书依据
- 第14章 Word2Vec和Doc2Vec词向量模型 14.1.4 基于Negative Sampling方法的CBOW模型 · 查看原书依据
- 第14章 Word2Vec和Doc2Vec词向量模型 14.1.5 基于Negative Sampling方法的Skip-Gram模型 · 查看原书依据
- 第14章 Word2Vec和Doc2Vec词向量模型 14.1.6 Word2Vec应用实例 · 查看原书依据
- 第14章 Word2Vec和Doc2Vec词向量模型 14.2.1 Doc2Vec模型原理 · 查看原书依据
- 第14章 Word2Vec和Doc2Vec词向量模型 14.2.1 Doc2Vec模型原理 · 查看原书依据
- 第14章 Word2Vec和Doc2Vec词向量模型 14.2.2 Doc2Vec应用实例 · 查看原书依据
第15章 深度神经网络模型
本章围绕两条线展开:神经网络为什么有效,以及它为什么难训。先给位置——深度学习是机器学习的分支,机器学习又是人工智能的分支,三者是包含、继承与发展的关系(AI、ML、DL是层层包含)。它的历史也印证了这一点:三次高潮都发生在”深层网络能被训练”的时候,两次低谷都卡在同一个地方(深度学习的三次高潮与低谷)。
第一次卡点是表示能力。单层感知机的决策边界是超平面,只能做线性切割,异或问题无解(单层感知机切不开异或)。1986 年的 MLP 用隐藏层加 Sigmoid 解决它,而隐藏层之所以有用,根源在非线性:如果没有激活函数,多层仿射变换叠起来仍是一次仿射变换,深度毫无意义(线性堆叠仍是线性)。
第二条线是训练。前向传播按 o(l)=σ(W(l)o(l−1)+b(l)) 逐层算到输出(前向传播逐层算到输出);反向传播定义 δ(l)=∂L/∂z(l),从输出层的 (o−y)⊙σ′(z) 出发,用 (W(l+1))ᵀδ(l+1)⊙σ′(z(l)) 逐层回传,再由 δ 得到 W、b 的梯度(反向传播用链式法则回传误差)。这套链式法则对 CNN、RNN 同样成立,是本章最通用、也最值得带走的部分。
问题正出在这条连乘链上:Sigmoid 的导数最大只有 0.25,层数一多,梯度指数衰减(梯度消失源于导数连乘);初始权重过大则会爆炸。应对分三类——换不饱和的激活函数(ReLU 及其变体)、逐层预训练加微调、梯度剪切(缓解梯度消失的几种手段)。激活函数本身就是一组权衡:Sigmoid 饱和但可当软门,Tanh 零中心,ReLU 不饱和、最快、最常用(常用激活函数的取舍)。
优化算法回答的是”往哪走、走多大步”。指数加权平均让近期梯度权重更大(指数平均让近期权重更大);Momentum 用它抑制震荡,NAG 再往前看一步(动量法与NAG的前瞻);AdaGrad 给每个参数自适应步长,但分母单调增长会衰减到停滞,RMSProp 用指数平均修掉这一点(从AdaGrad到RMSProp);Adam 把动量与自适应尺度合起来并做偏差校正,成为常用的默认选择(Adam融合动量与自适应)。本章最后用手写数字识别验证:两层隐藏层配合 ReLU 与 Dropout,训练 100 次后准确率 0.9842。
把全章串起来看:前向与反向是骨架,激活函数决定梯度能否传下去,优化算法决定传下去之后怎么走。这三件事不只属于 DNN,也是后面 CNN、RNN 的共同基础。
原书依据 · 13 处
- 第15章 深度神经网络模型 15.1.1 概述 · 查看原书依据
- 第15章 深度神经网络模型 15.1.2 深度学习发展历史 · 查看原书依据
- 第15章 深度神经网络模型 15.1.2 深度学习发展历史 · 查看原书依据
- 第15章 深度神经网络模型 15.2.4 几种常用激活函数 · 查看原书依据
- 第15章 深度神经网络模型 15.2.1 前向传播 · 查看原书依据
- 第15章 深度神经网络模型 15.2.2 反向传播 · 查看原书依据
- 第15章 深度神经网络模型 15.2.4 几种常用激活函数 · 查看原书依据
- 第15章 深度神经网络模型 15.2.5 梯度消失与梯度爆炸 · 查看原书依据
- 第15章 深度神经网络模型 15.2.5 梯度消失与梯度爆炸 · 查看原书依据
- 第15章 深度神经网络模型 15.2.6 几种常用的优化算法 · 查看原书依据
- 第15章 深度神经网络模型 15.2.6 几种常用的优化算法 · 查看原书依据
- 第15章 深度神经网络模型 15.2.6 几种常用的优化算法 · 查看原书依据
- 第15章 深度神经网络模型 15.2.6 几种常用的优化算法 · 查看原书依据
跨章综合
把 15 章放在一起,能看出四种反复出现的结构性对照,它们比单个模型的公式更值得记住。
生成式与判别式的分工。 朴素贝叶斯(第 4 章)先估 P(X|Y) 与 P(Y),再用贝叶斯定理反推后验;Logistic 回归(第 7 章)与 SVM(第 8 章)直接学决策边界。前者的优势是小样本可用、能处理缺失、可给出联合分布,代价是条件独立假设带来的偏差;后者的优势通常是准确率更高、不浪费精力去建模不关心的分布。第 1 章给出的这条划分在后续三章里各自兑现了一次,读到第 8 章时可以回头对照:为什么同样做二分类,三条路线的解法和适用场景差这么远。
方差与偏差的转移。 第 2 章的分解是后面所有集成方法的动机来源。决策树(第 6 章)是典型的高方差模型:数据稍变,树结构就变。随机森林(第 9 章)用 Bagging 加两层随机性把方差平均掉,前提是基学习器不稳定且彼此弱相关;AdaBoost(第 10 章)与提升树(第 11 章)走反方向,用串行纠错降低偏差,因此基学习器必须是弱学习器,太强反而没有提升空间。同一个分解,导出了两种相反的工程策略。
“距离”作为统一语言。 KNN(第 5 章)直接用距离找邻居,K-Means(第 12 章)用距离决定归属,层次聚类用簇间距离决定合并顺序,DBSCAN 用邻域半径定义密度,谱聚类用图的边权替代欧氏距离,降维(第 13 章)则是在找一个让距离仍有意义的低维空间。第 2 章列出的那组距离公式因此不是附录,而是贯穿后半本书的度量基础。这也解释了为什么”先归一化”在 KNN、K-Means、SVM 里都被反复强调:距离类方法对量纲的敏感是结构性的。
从特征到表示。 前 13 章都默认特征已经给定,第 14 章的词向量第一次把”表示”本身变成学习目标:CBOW 与 Skip-Gram 用一个预测任务逼出语义向量,层次 Softmax 与负采样解决词表过大时的计算代价。第 15 章把这条路推到极致——隐藏层可以看作自动学出的特征,反向传播则是把第 3 章就出现的梯度下降搬到多层复合函数上。回头看,第 3 章的梯度下降、第 7 章的对数损失、第 15 章的反向传播其实是同一条链:损失对参数的导数,只是求导的链条长度不同。
一处需要读者自行补足的地方:原书按 2018 年前后的技术栈写作,集成部分止于 XGBoost,深度学习只讲到 MLP 与基本优化器,没有涉及 Batch Normalization、残差连接与注意力机制。这些不是遗漏,而是边界——书里给出的三要素框架足以让读者自行接入新模型,但具体的新结构需要另找材料。
发散与实践
以下三项由读者延伸而来,不是原书结论,也不代表已经执行。它们各自对应书中一条可以立即验证的主张,具体行动计划见 ideas/ 下的实践卡。
第一项是把”三要素”当成检查表用。书中每个模型都按模型—策略—算法展开,读者可以拿一个自己项目里正在用的模型(哪怕只是一个调参过的 sklearn 分类器),把它填进这张表:参数是什么、损失是什么、优化器是什么。填写过程往往能暴露”会用但不知道为什么”的空洞,比如不知道为什么 Logistic 回归用对数损失而线性回归用平方损失。
第二项是复现一次偏差—方差的实验。第 2 章给出了分解,第 6 章与第 9 章给出了两个极端(单棵树方差大、森林方差小)。用同一份数据训练单棵深树与随机森林,记录训练集与验证集得分的差距随树数量增加的变化,可以直接看到”平均降方差”这句话的实际形状,也能看到它什么时候停止收益。
第三项是拿一个文本小数据集走完第 4 章的流水线。分词、去停用词、TF-IDF、朴素贝叶斯分类,每一步都能对应书中一个概念;改变平滑系数或特征维度后再看指标,可以体会条件独立假设的偏差在什么条件下变得不可接受。