此笔记位置已失效,请从目录继续阅读。
全书导读
从数据到预测,要依次解决表示、目标、求解和评估四个问题。先把记录表示为向量,选择要估计的关系及损失,再求出模型参数。最后用未参与选择的数据比较结果。想了解算法为什么这样设计,可以沿这四个问题回查不同章。
全书主线
- 第 1–3 章建立数学工具。导数解释参数局部变化,线性代数解释向量表示和投影,概率提供从样本推断的语言。
- 第 4–6 章将工具放入机器学习流程。PCA 改变输入空间,梯度下降沿目标函数调整参数。
- 第 7–13 章依次比较算法对规律的表达。回归拟合数值或概率,树按局部规则分割,SVM 选择大间隔,聚类用无标签的距离,朴素贝叶斯建模类条件证据,网络组合非线性变换。
- 第 14 章回到比较实验。固定验证协议,独立评价特征处理、超参数和模型族变化。
前言
前言把读者的困难放在两个层面:概览能让人识别算法名称,密集形式推导会提高起步门槛。作者希望用直观机制、数学解释和逐段代码贯通两者。
第 1–3 章补微积分、线性代数、概率统计。第 4–6 章先给完整流程,再聚焦降维和优化。第 7–14 章从线性回归走向多个算法与综合实践。需要上手的读者可先走算法案例,遇到推导时回查基础章。这个编排也适合反向练习:从一次训练结果追到损失、表征与数学假设。
补基础:不怕学不懂微积分
训练模型常常要把拟合好坏写成函数,再寻找使损失较小的一组参数。本章从运动解释局部变化率,用面积讲累积,并把这两种视角连接到多项式近似。
飞矢问题提醒我们区分某一瞬的位置和邻近时刻的位置变化。汽车位移取 s(t)=t²+1 时,时点 t 的差商是 2t+h,在 h 趋向零时趋于 2t。展开位移也可得到 s(t+h)=s(t)+2th+h²,此处 2t 是局部直线斜率。加法直接相加变化,乘法保留两侧各自的一阶变化,嵌套则沿依赖逐层传递。 相关卡片:导数刻画局部线性变化、链式法则传递变化率。
偏导数固定其他坐标,考察单个坐标的变化率。例如 f(x,y)=x²sin(y) 对 x 的偏导为 2xsin(y),对 y 的偏导为 x²cos(y)。把同一点的偏导排成向量就是梯度,它在欧氏距离约束下给出最大一阶增幅方向,第 6 章用相反方向降低损失。 相关卡片:梯度汇总坐标变化率。
把一段运动切成短时间段,每段用速度乘时间近似位移,细分取极限得到定积分。如果速度连续且 S′=v,累计位移为 S(b)−S(a)。速度允许为负时,积分计算有方向的净位移。局部求导与区间累积于是能通过原函数互换。 相关卡片:定积分累积局部变化。
泰勒多项式通过匹配展开点的值和各阶导数构造。正弦在零点匹配到三阶得到 x−x³/6,原书也以 9 附近的平方根比较不同阶近似。微积分基本定理把函数增量写成导数的积分,继续展开导数会逐步产生高阶项与余项。局部精度需结合展开距离和余项判断。 相关卡片:泰勒近似匹配各阶导数。
补基础:不怕学不懂线性代数
用向量记录数据,用矩阵描述保留线性组合的变换。先看基怎样表达空间,再利用列空间判断方程组精确解,在无解时用投影寻找近似解,最后通过换基简化变换。
向量的分量在一组基下才有确定含义,例如三科分数的排序决定每个位置代表哪一科。加法和数乘构造线性组合,基是一组能张成空间且互不冗余的向量。点积计算对齐程度与投影,叉积在二维可计算有向面积,在三维得到法向量。 相关卡片:基给向量确定坐标、点积给出投影分量。
矩阵的每列记录相应输入基向量的像,乘向量就是按输入坐标把这些列组合起来。右矩阵的输出维数必须等于左矩阵的输入维数,所以乘积按从右到左做复合。矩阵的像由各列张成,列向量相关时秩可能小于输入维数,即使输出的坐标数变多也一样。 相关卡片:矩阵列记录基向量的像。
把方程写成 Ax=b 后,先问 b 是否在 A 的列空间内,再问是否有不同输入得到同一输出。所有解是一个特解再加上零空间,零空间维度等于输入维度减秩。方阵要能完整逆转,必须满秩。几何上行列式度量有向体积的比例,体积压成零即无法逆转。 相关卡片:列空间决定方程有无解、行列式度量有向体积。
目标 b 不可达时,选列空间中离 b 最近的点 p。残差 b−p 垂直于所有列,因此 AᵀA x=Aᵀb,列满秩时可写出唯一解。若改用标准正交基 Q,投影简化成 QQᵀb。施密特正交化逐次减掉已有方向的投影,再归一化剩余方向。拟合直线时,这个投影在所有观测纵坐标组成的空间中进行,最小化的是纵向残差。 相关卡片:最小二乘是列空间投影、施密特正交化逐步去投影。
同一个线性变换换基后有相似矩阵。对某个非零 v 若 Av=λv,则 v 所在直线在变换下不跑到其他方向。负 λ 可翻向,零 λ 会压到原点。若全空间有一组特征向量作为基,则新表示为对角矩阵,反复作用只需对每个方向的倍率取幂。平面 90 度旋转在实数域没有特征方向,第 5 章的实对称协方差矩阵则有正交特征基。 相关卡片:特征向量给出不混合方向、对角化是换到特征基。
补基础:不怕学不懂概率统计
概率模型规定如何生成观察值,统计推断利用已经得到的样本了解模型与参数。分类可以比较观察到特征后各类别的概率,拟合则可以比较不同参数对已观察数据的解释。
均匀硬币为区分模型和观察提供了直接例子。公平模型给正反面各 1⁄2 的概率,有限实验中可观察的是频率。概率论研究给定模型的规律,数理统计再反过来用数据判断模型或估计参数。 相关卡片:概率模型与统计推断。
大数定律从单组样本量增大的角度说明均值接近总体均值。中心极限定理进一步讨论多组同样规模的样本均值如何波动。抛骰子模拟中的组数控制直方图平滑程度,每组人数才控制均值抽样分布的近似程度。样本量足够大的含义随原分布改变。 相关卡片:大数定律与中心极限定理。
高斯分布是连续的对称钟形模型,均值控制中心、标准差控制宽度。泊松分布描写固定时间或区域的离散计数。均匀稳定的罕见事件可用它近似二项分布,其中 λ=np 是考察区间的平均计数。 相关卡片:高斯分布的中心和宽度、泊松分布刻画稀有计数。
条件概率把分母换为已满足的条件。抛三次公平硬币,知道至少一次反面后,七种等可能序列中只有全反满足三面相同。贝叶斯公式利用交集的对称性反转方向,例如用阴云在雨天的常见程度和雨天基率推断阴天后下雨的概率。最大似然则固定观察,比较候选参数产生这批观察的可能性。 相关卡片:贝叶斯公式更新基率、最大似然比较参数。
全景图:机器学习路线图
这章用连续值预测演示机器学习全流程,从定义任务和整理数据开始,再选模型和超参数,最后评估未见过的数据。后面的算法是这个流程中可替换的部件。
模型通过经验改善某项任务上的可测表现。房价预测需要连续输出,贷款申请标签属于离散分类。监督学习依靠标签,聚类则按特征相似性寻找结构。分类与回归描述有标签预测任务的输出,聚类和降维类别由学习目标决定。 相关卡片:任务经验与度量定义学习。
Python 用第三方库提供数值运算、数据处理、绘图和模型。原书用 Anaconda 准备环境,以 Jupyter Notebook 分段运行代码。安装页面、版本列表和系统路径属于当时的环境示例。
原书把糖尿病样本分成训练和测试,训练线性模型后在测试上算 R²。系数和截距由训练集拟合,模型形式和正则强度是外层选择。可先建立一条基线,再只用训练侧验证比较多个候选。原书示例中的百分号与旧式打印展示流程,复现时应按所用环境调整。 相关卡片:训练与评估使用不同样本。
准备数据首先问实际预测时能得到哪些信息,再查缺失、无效和矛盾记录。若多数类压倒少数类,可在训练侧重采样,并保留验证集的真实类别比例。连续值可按区间离散化,无序类别可做独热编码。数值缩放应记住训练参数。特征构造、提取和选择分别增加表示、变换表示或保留原列的一部分。 相关卡片:类别失衡影响训练与度量、编码改变特征表达、缩放沿用训练统计量、三种特征选择依据。
候选算法取决于标签、目标、样本容量和输入表示,先比较一个可解释的基线。集成结合多个学习器,收益依赖基学习器是否可靠以及错误是否错开。Bagging 用有放回子样本并行训练,随机森林还在分裂时抽取候选特征,AdaBoost 则逐轮提高错分样本权重。 相关卡片:集成需要准确而互补、装袋与提升怎样组合。
参数定义具体预测函数,超参数设定模型复杂度或学习方式,例如树深、惩罚强度、近邻数和学习率。训练与验证都差提示模型能力、表示或训练不足。训练好而验证差提示过拟合或验证分布偏移。网格搜索把候选取值做笛卡尔积,组合数很快增大,第 14 章补充交叉验证。 相关卡片:参数和超参数的两层选择、训练和验证误差一起读。
回归的 MAE 平均绝对偏差,MSE 平均平方偏差,对大误差更敏感。R² 则比较平方残差和常数均值预测的基线。分类整体准确率看全部样本,查准率看预测阳性有多少真,查全率看真阳性有多少被找出。改变分类阈值后,要重新计算混淆矩阵。 相关卡片:回归误差的平方权重、查准与查全的分母。
数据降维:深入理解PCA的来龙去脉
主成分分析把相关的原始特征重新组合成较少的坐标。它用保留的方差评价线性投影,在这个度量下追求低维表示保留尽量多的变化。
原书以浏览量和访客量为例说明冗余。PCA 适合压缩、探索性可视化及部分去噪场合。成分彼此不相关,统计独立还需要附加假设。预测标签可能恰好依赖低方差方向,因此压缩比例需和实际任务一起评估。 相关卡片:主成分保留高方差方向。
成绩表以六科为行、五位同学为列。逐科去均值后计算六维协方差,选最大两特征值对应的方向,得到两行五列的新坐标。两个方向可观察到文理成绩的共变结构,成分的数值和正负号由求得的方向决定。
把中心化后的观测列记为 A,先用正交矩阵 Q 取所有新坐标 Y=QA。新协方差是 Q C Qᵀ,若 Q 的行是原协方差矩阵的单位特征向量,结果为对角矩阵。保留相应的前 k 行就给出降维矩阵。 相关卡片:协方差特征向量构成主轴。
投影系数是样本与单位方向的点积。原协方差矩阵的对角线是各列特征方差,非对角是共同偏离均值的程度。取特征基使新成分间的协方差为零,再按方差从大到小截取。 相关卡片:零协方差只约束线性关系。
中心化保证样本和为零,线性变换维持这个性质,因此可直接以乘积写协方差,再把 Q 提到外面。实对称谱分解使特征轴正交,便于把保留各轴的方差相加与总方差比较。
鸢尾花含四个数值特征,原书先查看解释方差比,再投影到两个方向并按标签着色。标签只用于画图,没有参与 PCA 拟合。若服务于预测,拟合的均值与主轴必须在训练侧决定。 相关卡片:解释方差衡量压缩保留量。
凸优化核心过程:真正搞懂梯度下降过程
训练常可写成优化目标函数。凸性解释为什么找到局部最小点即可,梯度下降解释如何通过局部方向寻找低值。两者分别是问题性质和求解策略。
凸集包含任意两成员间的整段。凸函数在凸域上,图像位于任意两点连成的弦下方或弦上。若某局部极小点之外有更低点,沿连线稍走就会降低目标,与局部极小矛盾。凸性允许平坦的最优区域,也不保证任意步长收敛。 相关卡片:凸性令局部极小全局最优。
把每个预测和真值的偏差写成单样本损失,训练目标通常汇总为总和或均值。参数更新为 θ−η∇J(θ)。负梯度是当前位置的最快一阶下降方向,步长需结合曲率。原书二次目标从 (4,−2) 以 0.1 为学习率出发,每步把两坐标乘 0.8。 相关卡片:梯度下降受步长控制、训练目标汇总样本损失。
一元示例画 x²+3 并从 5 出发,多元示例画 x²+y² 并从 (1,−1) 出发。两个循环都重新计算梯度,单变量检查绝对值,多元检查二范数,并以最大迭代次数兜底。容差用于近似停机,需要区分达到目标与用完预算。 相关卡片:停止阈值和迭代预算。
搞懂算法:线性回归是怎么回事
线性回归把输入转成加权和,输出实数。设定模型族之后,训练工作是用历史样本选择同一族中的一个具体函数。
一元形式是一条直线,多特征形式是加权和加截距。原书用亲代身高与子代平均身高的关系引出回归。条件均值的线性近似用于预测,不直接说明某个特征有因果效应。 相关卡片:线性回归拟合加权和。
房价案例通过面积等属性和历史目标值选择系数。训练损失衡量历史残差,真正的任务是预测新样本,因此还要留出独立数据检查泛化。
最小均方误差可由梯度下降或线性代数求得,与第 2 章列空间投影是同一目标。要限制系数规模可以在损失上加入 L1 或 L2 惩罚。L1 允许系数精确为零,L2 通常连续收缩系数。通过验证选择惩罚强度,避免只看训练误差择优。 相关卡片:正则化约束预测模型。
波士顿房价是原书的演示数据,正文小标题处称逻辑回归,实际代码拟合 LinearRegression 并报告 MSE,按连续值回归理解。示例展示数据切分、模型训练和误差计算,未实际搜索超参数。
搞懂算法:逻辑回归是怎么回事
把房价从具体金额改成高档或普通,模型需输出类别概率。逻辑回归保留线性分数,通过 S 形函数将分数映射到 0 与 1 之间,同时换用适合二分类的训练目标。
令 z=wᵀx+b,p=1/(1+exp(−z)),概率随着 z 单调上升。取阈值 0.5 等价于按 z 的正负分类,因此输入空间的边界依然是超平面。原书引出多分类的 softmax 和多二分类思路,它们属于可选的扩展方式。 相关卡片:逻辑回归拟合对数几率。
若 y=1,损失为 −log p,若 y=0,为 −log(1−p)。合在一起是二元交叉熵,也等于伯努利负对数似然。自信地猜错会遭到更重惩罚。线性分数模型的损失对参数是凸的,适用梯度法,正则化可用于控制模型复杂度。 相关卡片:对数损失惩罚自信错误。
乳腺癌公开数据是教学二分类案例,先切出测试集,再仅从训练拟合标准化,最后输出总体准确率和分类报告。比较每类的指标前,要按真实标签编码映射报告名称。第 9、10、14 章用同一数据演示模型差异。
搞懂算法:决策树是怎么回事
树模型把预测拆成一连串属性测试。用训练样本决定每个节点问什么、何时停止,再用独立样本衡量整棵树的泛化能力。
根节点收纳全部训练样本,内部节点用属性及阈值划分,叶节点给出类别或回归值。预测流程只走一条根至叶路径,组合多个局部分割可得到分段边界。 相关卡片:决策树逐层划分空间。
划分的目标是让各子组内标签更一致。即使某个属性在直觉上重要,也应比较它在当前节点子样本上的实际贡献,逐节点作局部选择。
观察越罕见,具体事件的信息量 −log p 越大。熵是按各类概率加权的平均信息量。二分类五五开最不确定,集中到一个类时熵为零。 相关卡片:信息熵是平均惊讶度。
原书用 20 条见面记录计算总体标签熵,再按候选属性分别划分,把各分支熵按样本量加权。“长相”在例中是首选,子节点再独立比较剩余条件。书中个别数值与表格计算有出入,比较方法以加权公式为准。 相关卡片:信息增益比较节点分割。
树可以一直分直到很小的样本组,容易学到偶然差异。预剪枝在训练时限制深度、叶大小或分裂改善。后剪枝先拟合完整树,再评估是否把子树替换为叶。 相关卡片:剪枝减少树对噪声的拟合。
案例沿用同一乳腺癌数据划分,使用默认分类树拟合并检查分类指标。决策树依据排序和分割阈值,示例中的标准化用于与前章保持流程一致。代码尾部变量名不一致,单次结果数字不宜用作稳定模型排名。
搞懂算法:支持向量机是怎么回事
支持向量机从可分边界中选与训练样本间隔较大的方案。遇到重叠时,可以让少数样本侵犯间隔,还可以改变表示空间来获得非线性边界。
原书按线性可分、线性软间隔和非线性展开。硬间隔要求正确分开全部训练样本,软间隔在间隔宽度与违反约束的损失间权衡。核方法使模型能表达原坐标中弯曲的边界。 相关卡片:软间隔权衡宽度和误分。
在一维,超平面是一个分离点,在二维是线,统一写成 wᵀx+b=0。点到平面的距离为 |wᵀx+b|/||w||。硬间隔把最近点的两侧距离规范化为 1/||w||,因此宽度是 2/||w||。书用区间内外的分类说明加入平方坐标后,一条阈值线就能在新空间分开。 相关卡片:支持向量约束最大间隔、核函数改变相似性空间。
乳腺癌示例先标准化再使用 LinearSVC,展示的是线性模型。原书也介绍了 SVC 的核选择,二者需要在同一划分和预算下分别比较。示例报告约 0.9766 的单次准确率,仅用于说明该实验输出。
搞懂算法:聚类是怎么回事
聚类不使用预先标好的目标,把表示空间中的样本按相似性组织成组。结果由距离、簇数和初始化共同决定。
聚类可以独立寻找数据结构,也可以给监督流程提供分群特征、候选标记或更细的下游群体。簇编号本身没有类别语义,不能直接把 K 个簇等同于产生了 K 个连续坐标。 相关卡片:聚类从特征发现分组。
闵可夫斯基距离在 p=1、2、∞ 时分别是绝对差之和、欧氏距离和最大坐标差。经典 K-means 最小化簇内平方欧氏距离,交替按最近中心归类、以簇内均值更新。肘部法寻找增加簇数后收益下降的位置。K-means++ 按距最近已选中心的平方分配抽样权重,再沿用原迭代。 相关卡片:距离定义聚类的相似性、均值聚类交替降低误差、分散初始化避开重叠种子。
手写数字图像按 8×8 像素展开后训练中心,预测最近中心的簇编号。标签可用来计算调整兰德指数,完全未用类别时可看轮廓系数。两把尺子衡量不同性质,最佳簇数可以不同。 相关卡片:按标签可用性评价聚类。
搞懂算法:朴素贝叶斯是怎么回事
朴素贝叶斯利用带标签的数据估计每类出现的比例和各特征在该类下的概率。预测时把这些信息组合成各类分数。
条件概率和贝叶斯公式延续第 3 章。比较类别 c 时分母对所有类相同,于是只需比较先验和类条件密度的乘积。朴素假设要求给定类别后,各特征的联合分布可拆成边缘乘积。使用对数把乘法变成求和。 相关卡片:朴素贝叶斯分解类内似然。
伯努利模型用有无特征并考虑缺席,天气例将风、湿、云、闷热写成二值。高斯模型按类为每个连续维估计均值方差,原书用生成的点团说明。多项式模型适配非负的次数或类似词频的表示,连续示例做尺度变换只说明输入要求。平滑可防止样本中未见的特征直接把类分数归零。 相关卡片:朴素贝叶斯按输入选分布。
新闻主题分类先切分原始文本,再用训练文本建词表并输出计数特征。测试文本沿用同一个词表,分类器对每个主题计算分数。题头字段可能直接包含标签线索,复用案例时可对照保留与剔除元数据两种设置。
搞懂算法:神经网络是怎么回事
多层网络把像素逐层变成内部特征,最后给出类别分数。训练由前向计算、损失比较、反向求导与参数更新构成,串起本书的微积分和优化基础。
手写数字的线条和比例差异难靠规则枚举,网络可从标注样本中学习映射。原书用 28×28 的 MNIST 说明概念,末节实际用的是另一套 8×8 数据。
单个神经元先做加权和加偏置。感知器用硬阈值输出 0 或 1,Sigmoid 单元给出平滑响应,参数的小变化可以逐步反馈到输出。 相关卡片:平滑神经元可以传递梯度。
输入层接受像素,隐藏层做加权变换和激活,输出层给数字 0–9 打分。隐藏层的宽度和层数属于超参数。多个仿射函数复合还是仿射,因此激活函数承担表达非线性的职责。独立 Sigmoid 输出可用来排类,未经归一与校准时不能直接当作十类互斥概率。 相关卡片:非线性激活让层次生效。
书用目标向量与输出向量的平方差构造代价,再用训练样本平均值控制参数更新。每次计算全部样本的梯度昂贵,可以打乱后用小批量估计当前方向。网络目标通常非凸,所以降低训练损失并无全局最优保证。 相关卡片:小批量梯度权衡噪声与成本。
反向传播从输出层算损失对当前层输入的变化率,再乘局部导数并向前一层汇总。参数梯度还要乘该连接的上游激活。反向传播计算梯度,优化器使用梯度决定如何改权重。该过程解释了训练机制,也说明每层的贡献如何随输入改变。 相关卡片:反向传播复用局部导数。
单神经元代码计算样本误差并以输入转置聚合更新,Sigmoid 导数函数接收的是已经压缩后的输出。复杂一点的例子用 8×8 手写数字,训练侧拟合缩放后训练 MLP,再以分类报告检查各数字。原书开头误称鸢尾花,实际加载的是数字。
综合实践:模型优化的经验技巧
综合实践把本书主线落实成两类可控制的实验:改动特征表示,或改动模型配置。同一候选的处理流程要从训练一直延续到最终预测。
字典向量化保留数值属性,把类别字符串拆成独热列。词袋用词的计数表示文本,忽略原序。TF–IDF 结合词频和逆文档频率,压低不区分文档的常见词。鸢尾花案例用单变量打分保留花瓣长宽,与构造新方向的 PCA 形成对照。 相关卡片:文本编码决定可见信息、特征筛选保留原变量含义。
K 折轮流把每份留作验证,其他份上重新训练。网格搜索为每个候选配置重复这个过程,并以预先确定的指标比较平均表现。最终测试需独立留出。分层、按组或按时间划分取决于数据如何被采集。 相关卡片:交叉验证轮流留出样本。
原书在一个切分上比较逻辑回归、SVM、决策树的默认配置和搜索配置。逻辑回归结果相近,所试核 SVC 和树的分数较各自示例基线高。SVM 对比同时改变了估计器和核,不能单独归因于调参。示例先在整个训练部分缩放后才做交叉验证,最后一条预测却传原始特征。复现时应把缩放放入各训练折,并确保新样本走同一预处理。 相关卡片:模型比较保持评估条件。
作者建议先掌握流程,再用可运行案例定位需要回查的数学或代码。对常见模型先说清输入、目标和验证,再按职业场景深挖常用部分。避免只记接口、只试参数或只看推导。 相关卡片:用实验定位要学的原理。
跨章综合
最小二乘和 PCA 都用到投影,但投影对象有别。最小二乘把观测目标投影到由输入列张成的预测空间,保留的预测最接近已知目标。PCA 从输入自身找高方差子空间,在不使用标签的前提下重建输入。因此方差保留多,并不能推出回归误差小。
二元逻辑回归和线性 SVM 都可写出线性分数,也都能输出一个超平面边界。逻辑回归解释分数对应的对数几率,以对数损失拟合标签。SVM 重点是分数在边界周围保留多宽的间隔。树则把空间拆成一组由路径定义的区域。比较算法时应同时说明假设、输出以及评价标准。
梯度下降需要梯度,链式法则提供复合函数求导的方法。反向传播把这个规则放到多层网络,复用已经算过的下游导数。算得正确的方向、挑到合适的步长以及得到可泛化的解,是三个分别需要验证的问题。
发散与实践
读者延伸分两条。用成熟实现对照数学推导,从训练均值与矩阵方向追到 PCA 投影。用可控二次曲线实际观察学习率导致的收敛与振荡,记录同一迭代预算下的轨迹。两项均为实践计划。
- PCA 实现深读。
- 学习率最小实验。