来源书籍

机器学习算法的数学解析与Python实现

Skill 版本:v24 经典原理 85 张卡片

全书通过平方残差、对数似然、纯度、间隔、质心与梯度说明模型为何能工作。书中的安装版本、接口截图和当年案例会随工具变化,公式、目标和适用条件仍可迁移。

莫凡 · 机械工业出版社 · 2020 · ISBN 978-7-111-64260-2

全书导读

从学习任务和评价标准入手,再用模型的表示、判据与求解方式比较各算法。

全书主线

有标签时分别考虑连续值预测和类别预测,无标签时可按相似性探索分组。最后讨论如何组合多个学习器。

前言

本书按问题、模型、数学与应用组织学习。前言说明读者可以先借助输入、输出和典型例子理解模型的轮廓,遇到必要的数学工具再回头补。正文用算法库演示实用流程,以便把注意力放在问题适配、模型选择与结果上。

相关知识卡为 先理解模型再学习数学。

原书依据 · 1 处

第1章 机器学习概述

第一章把模型、数据、预测和评价放进同一套术语框架。后面的算法各自改变预测规则或求解办法,可以用这组术语对照。

1.1 什么是机器学习

人工智能覆盖许多模拟智能的途径,机器学习关心如何从数据中得到预测规律。深度学习沿神经网络这条支线发展。书中把监督学习比作给出输入与答案,由训练过程找出可以反复使用的映射。

相关知识卡为 深度学习源自神经网络。

原书依据 · 1 处

1.2 机器学习的几个需求层次

模型知识可以按职责分层。定义需求时先判断任务和可接受的结果,调用模型时掌握数据、接口和运行过程,需要解释训练行为时再用数学描述。三层分别回答能做什么、怎样使用,以及为什么如此工作。

相关知识卡为 按任务决定学习深度。

原书依据 · 1 处

1.3 机器学习的基本原理

训练让候选模型在样本上给出输出,根据预测偏差评估是否需要改变模型。欠拟合表现为连有代表性的训练规律也学不出来。过拟合会把训练样本偶然出现的细节当成一般规律,使新样本的表现变差。

相关知识卡为 训练拟合不等于泛化。

原书依据 · 1 处

1.4 机器学习的基本概念

把每条记录看成样本,特征是描述这条记录的字段。样本的特征可以排成向量,同类记录可以排成矩阵。有监督训练时另给模型目标值。假设函数负责把特征映射为预测,损失评估一次预测的偏差,整体训练目标通常对各样本损失求和或平均。

相关知识卡为 特征矩阵按样本排布。

相关知识卡为 损失从样本汇总到目标。

相关知识卡为 模型是学得的输入映射。

原书依据 · 3 处

1.4.2 机器学习的基本模式

基本训练流程由预测和评价组成。用当前模型生成预测,计算相对目标的代价,再用求解方法更新参数或直接确定合适参数。重复更新是常见实现,线性最小二乘等问题也可直接求解。

1.4.3 优化方法

梯度描述目标函数在参数点附近怎样变化,沿负梯度小步移动可在局部降低可微目标。每步用全部样本可以计算完整经验目标的梯度,单样本更新成本较低且变化较大。步长、目标曲面和停止条件都会影响结果。

相关知识卡为 梯度下降沿局部斜率走。

相关知识卡为 随机梯度用样本估方向。

原书依据 · 2 处

1.5 机器学习问题分类

监督学习给训练样本提供目标值,输出数值时是回归,输出类别时是分类。无监督学习从没有目标标记的输入中寻找结构,例如按选定相似性把样本分组。

相关知识卡为 标签决定监督任务。

原书依据 · 1 处

1.6 常用的机器学习算法

这一节为后文列出算法地图。线性回归面向连续值,Logistic回归、KNN、朴素贝叶斯、决策树、支持向量机和神经网络给出不同分类规则,K-means用于没有标签的分组。

1.7 机器学习算法的性能衡量指标

先明确负例和正例,再把分类结果与真实结果逐项比对。准确率衡量全部样本中猜对了多少,精确率关注预测为正的样本,召回率关注真实为正的样本。比较模型应结合任务需要及误报、漏报的成本。

相关知识卡为 查准率与召回率的分母。

相关知识卡为 模型优劣依赖任务。

原书依据 · 2 处

1.8 数据对算法结果的影响

模型只能从得到的特征和训练数据里挖掘规律。改变记录维度有时比换算法更能改变结果,输入里缺失的关键信息会限制预测能力。部署前要让特征表达与任务和真实采集条件一致。

相关知识卡为 特征限制可学的信息。

原书依据 · 1 处

第2章 机器学习所需的环境

第2章依次讲 Python 运行与导入、NumPy 数值计算、scikit-learn 建模、pandas 表格准备。

2.1 常用环境

手写算法方便理解求解细节,用库方便快速比较模型与解决问题。本书采用后一路径。NumPy 提供数组计算,scikit-learn 提供估计器,pandas 整理表格数据。

相关知识卡为 用算法库缩短反馈。

原书依据 · 1 处

2.2 Python简介

Python 变量在运行时绑定到对象,调用代码相对简洁。本书以 Python 3 为演示基线,提醒早期 Python 2 代码与之存在语法差异。

2.2.1 Python的安装

按操作系统选择 Python 解释器安装包,也可从源码编译。书中的版本门槛和截图只描述当年示例环境。

2.2.2 Python的基本用法

Python 的代码块通过缩进表示。依赖先安装,再从代码中导入。模块别名和从模块导入单一名称会改变代码中使用该名称的写法。

相关知识卡为 Python缩进划分代码。

相关知识卡为 安装依赖后才能导入。

原书依据 · 2 处

2.3 Numpy简介

NumPy 提供科学计算数组、线性代数等工具,也可作为其他数据和建模库的计算基础。

2.3.1 Numpy的安装

书中通过 pip 安装 NumPy。

2.3.2 Numpy的基本用法

NumPy 围绕数组组织数值计算。表2-1覆盖创建、形状变换、聚合和算术,其中变形尤其适合理解后续示例的样本矩阵。

相关知识卡为 数组形状决定运算。

原书依据 · 1 处

2.4 Scikit-Learn简介

scikit-learn 封装多种算法,调用端可以把注意力放在选择模型与表达任务上。

2.4.1 Scikit-Learn的安装

书中展示 pip 与 conda 两种安装途径,依赖的安装名为 scikit-learn。

2.4.2 Scikit-Learn的基本用法

从模型对应模块构造估计器,传入训练数据调用 fit,再由 predict 处理新样本。查询邻居的估计器与给出类别的估计器功能不同。

相关知识卡为 先拟合再预测。

原书依据 · 1 处

2.5 Pandas简介

pandas 可处理采集表的缺失字段、字段筛选和特征准备。

2.5.1 Pandas的安装

pandas 的安装沿用 Python 包管理工具。

2.5.2 Pandas的基本用法

Series 是一维有索引数据,DataFrame 组织有行列的表格。表2-2从读写、预览、清洗、合并和统计说明表格处理接口。

相关知识卡为 pandas整理表格。

原书依据 · 1 处

第3章 线性回归算法

本章用线性方程来预测连续数值,依次讲问题、模型、损失与求解。

3.1 线性回归:“钢铁直男”解决回归问题的正确方法

回归说的是目标形式,线性说的是函数形式。下一章继续使用线性得分,但给它另一种输出含义。

相关知识卡为 任务与模型分开选择。

原书依据 · 1 处

3.1.1 用于预测未来的回归问题

回归以数量为目标,分类以类别为目标。用整数编码类别时,任务仍是分类。高尔顿的身高观察交代术语的历史来源。

3.1.2 怎样预测未来

调查表示例把材料、使用时间等放在输入侧,把待预测数量放在目标侧。训练使用带目标的记录,推断使用按相同定义构造的新特征。预测能否迁移取决于数据关联在应用条件下是否保持。

3.1.3 线性方程的“直男”本性

一维预测是 wx+b。w 决定 x 每增加一单位,预测改变多少,b 决定 x=0 时的预测。多维版本对特征加权求和。

相关知识卡为 权重和截距改变直线。

原书依据 · 1 处

3.1.4 最简单的回归问题——线性回归问题

在年份和年龄的示例里,三个训练点恰好共线,可以把下一年带回方程预测年龄。真实数据通常有扰动,线性关系也可能只在观察范围内成立。

3.2 线性回归的算法原理

把拟合问题转为可求解的目标,先计算模型预测,再度量预测偏差,最后选择参数以减小偏差。

3.2.2 线性回归算法的数学解析

内积把输入与权重按位相乘再求和,加截距得到预测。最小化残差向量的平方 L2 范数,相当于最小化残差平方和。梯度下降可以用学习率控制步长,最小二乘也有其他常见解法。L1 和 L2 是衡量向量大小的规则,用于惩罚模型参数时才属于正则化。

相关知识卡为 加权和是向量内积。

相关知识卡为 平方残差定义拟合目标。

相关知识卡为 范数与参数惩罚。

原书依据 · 3 处

3.2.3 线性回归算法的具体步骤

线性回归的训练输入为成对的特征与目标值,推断输出为数值。书中列出初始化、计算损失、更新参数的直观版本。

3.3 在Python中使用线性回归算法

书中用 NumPy 生成均匀排列的 x,再计算 y=2x+1。训练时把一维输入列整理成二维样本矩阵,调用 fit 和 predict,并查看斜率与截距。给 x 叠加扰动的示例说明输入误差会改变拟合结果。

相关知识卡为 单列特征仍需二维输入。

原书依据 · 1 处

3.4 线性回归算法的使用场景

线性回归适合目标与输入或其变换后特征近似线性相关的场景。它能提供容易解释的基线,若残差随输入出现系统性曲线或在新数据上误差过大,则需检查模型形式。

相关知识卡为 线性拟合取决于数据。

原书依据 · 1 处

第4章 Logistic回归分类算法

第4章沿用线性模型构造分数,再用 Logistic 函数表达正类概率。通过概率决策可把连续分数用于分类。

4.1 Logistic回归:换上“S型曲线马甲”的线性回归

分类结果可以是离散标签,模型内部仍可计算连续得分。得分经过 S 形映射后具有概率含义,再按阈值决定类别。

4.1.1 分类问题:选择困难症患者的自我救赎

先定义模型可选的标签,再给训练样本标出目标。二分类指定正类与负类,多分类有多个互斥类别。书中以垃圾分类说明可以串接一组二元判断,但越前面的判断越会影响后续可达的类别。

相关知识卡为 二元判断可组成分类树。

原书依据 · 1 处

4.1.2 Logistic函数介绍

阶跃函数直接给 0 或 1,在阈值处发生跳变。Logistic 函数平滑递增,输出在 0 和 1 之间,负分越大幅远离 0 越靠近 0,正分越大越靠近 1。平滑概率用于训练,阈值用于最后的类别决策。

相关知识卡为 S形函数连接得分与概率。

原书依据 · 1 处

4.1.3 此回归非彼回归:“LR”辨析

Logistic 回归常被称为逻辑回归、对数几率回归,LR 也可能指线性回归。辨认时先看目标是类别还是连续数值,再看预测方程。

4.2 Logistic回归的算法原理

分类可以用整数标签、独热向量或概率向量表示。独热向量把所选类别置为1,概率向量则保留每个类别的相对可能性。将二分类得分与零比较可以得到离散决策,训练阶段仍可用平滑函数。

相关知识卡为 分类输出有三种表示。

原书依据 · 1 处

4.2.2 Logistic回归算法的数学解析

二分类把真实类别编码为 y∈{0,1},假设函数给出正类概率 p。真实标签为正时,其概率是 p,标签为负时是 1−p。对多个独立样本的似然乘积取负对数可转成逐样本损失求和。Logistic 模型相应目标为凸函数,平滑性来自实际的函数形式。

相关知识卡为 交叉熵惩罚错得自信。

相关知识卡为 似然乘积取对数求和。

原书依据 · 2 处

4.2.3 Logistic回归算法的具体步骤

先用模型产生概率,再比较真实结果计算损失,使用损失梯度迭代更新参数。预测为离散类别与训练时保留概率是同一模型的两个使用环节。

4.3 在Python中使用Logistic回归算法

这一节把普通最小二乘、岭回归、Lasso 与 Logistic 分类的接口放在一起。岭回归和 Lasso 改变线性回归的目标函数,Logistic 回归改为分类目标。书中的鸢尾花示例在训练集上算分,适合演示接口,泛化需要独立评估。

相关知识卡为 L1和L2的系数约束。

原书依据 · 1 处

4.4 Logistic回归算法的使用场景

Logistic 回归结构简单,可作为分类基线。它可以用于点击行为等二元事件。结构简单并不直接决定是否过拟合,评估应观察独立数据,并结合错误代价。

相关知识卡为 分类基线提供比较尺度。

原书依据 · 1 处

第5章 KNN分类算法

第5章介绍一种按相似样本的已有标签推断新标签的分类器。两项关键设计是如何挑邻居以及如何汇总其标签。

5.1 KNN分类算法:用多数表决进行分类

KNN 不需要通过反复减小训练损失拟合参数。训练阶段保留有标签的样本或构建邻居查询结构,推断时再计算距离与投票。与 Logistic 模型的区别在于何时以及如何构造预测。

5.1.1 用“同类相吸”的办法解决分类问题

有标记样本提供相似度参照。书中通过衣物与垃圾分类的例子引出共同属性,再以鸢尾花散点图展示同类点可能聚集。能否据此预测取决于所用字段是否表达类别规律。

5.1.2 KNN分类算法的基本方法:多数表决

同一批样本投影到不同字段组合,可以变得更易区分,也可能互相交叠。由新样本周围的标签投票,能利用局部信息,前提是距离包含与任务相关的字段。

相关知识卡为 特征选择改变邻居。

原书依据 · 1 处

5.1.3 表决权问题

表决者限于待预测样本附近。全体一起等权投票会把每一个查询都判给同一全局多数类,失去查询点位置提供的信息。

5.1.4 KNN的具体含义

KNN 的 K 是参与投票的最近样本数。以当前查询点为中心寻找 K 个有标签训练点,类别票数最高者成为预测。

相关知识卡为 近邻以局部标签投票。

原书依据 · 1 处

5.2 KNN分类的算法原理

需要选择邻居数 K 和距离。较小的 K 强调很局部的结构,容易受单点影响。较大的 K 可减小个别点影响,却可能掩盖小簇。用验证集或交叉验证比较,并保持最终测试不参加选择。

相关知识卡为 邻居数量控制局部性。

原书依据 · 1 处

5.2.2 KNN分类算法的数学解析

闵可夫斯基距离统一了多种按各维差值计量的距离。p=1 把绝对差相加,是曼哈顿距离。p=2 取平方和的根,是欧氏距离。度量变了,近邻也可能改变。

相关知识卡为 闵可夫斯基距离可调阶数。

原书依据 · 1 处

5.2.3 KNN分类算法的具体步骤

算法先按距离选出前 K 个邻居,随后计算各类别的票数,最后返回最高票的类别。实际实现还需要为并列结果提供确定的处置。

5.3 在Python中使用KNN分类算法

scikit-learn 的 neighbors 包包含固定数量、固定半径的分类估计器,也提供近邻回归和邻居查询结构。书中示例用 KNeighborsClassifier 在鸢尾花数据上演示拟合、预测和打分。

相关知识卡为 固定数量与半径选邻居。

原书依据 · 1 处

5.4 KNN分类算法的使用场景

近邻规则简单,预测可能需要处理大量候选点,训练阶段的简便会把成本转移到推断。类别失衡也会影响局部表决。书中用字符区域定位、提取特征和字符投票说明传统 OCR 的应用路径。

相关知识卡为 近邻推断承担检索成本。

相关知识卡为 字符识别先提取特征。

原书依据 · 2 处

第6章 朴素贝叶斯分类算法

第6章从概率角度构造分类器。先区分概率的条件方向,再用条件独立简化多特征下每个类别的打分。

6.1 朴素贝叶斯:用骰子选择

用不完整的迹象预测类别,可以先问迹象在不同类别中出现的概率,再结合各类别原有的发生比例更新判断。

6.1.1 从统计角度看分类问题

排除一个可能性会改变剩余选项的相对机会。增加证据能够提高判断准确度的前提是这种证据在样本中有可验证的关联。书中的出题偏好是设例。

相关知识卡为 相关性可预测但需验证。

原书依据 · 1 处

6.1.2 贝叶斯公式的基本思想

P(A) 在全体情况中计量 A,P(A|B) 则在 B 已发生的范围内计量 A。P(B|A) 取另一个条件集合。须比较 P(A|B) 和 P(A) 才能判断 B 是否提高 A 的概率。

相关知识卡为 条件概率改变参照集合。

原书依据 · 1 处

6.1.3 用贝叶斯公式进行选择

先验 P© 是看证据前的类别概率,似然 P(x|C) 表示类别产生证据的机会,后验 P(C|x) 是观察后更新的概率。书中用 10%×70%÷30% 算出扎马尾条件下识别特定人的概率约为 23.3%。

相关知识卡为 先验乘似然更新后验。

原书依据 · 1 处

6.2 朴素贝叶斯分类的算法原理

分别统计每个特征在类别中的表现比统计每个特征组合容易。朴素贝叶斯假定给定类别之后特征彼此独立,从而可以把联合似然拆成一连串单特征似然。

6.2.2 朴素贝叶斯分类算法的数学解析

类别打分为先验乘以各条件似然。对同一个待分类样本,后验公式的归一化分母在各类别间相同,求最大类别时可省略分母,但各类别的先验仍参与。argmax 返回达到最大值的类别。各似然或分布参数可由有标签训练样本估计。

相关知识卡为 条件独立分解似然。

相关知识卡为 最大后验要保留先验。

相关知识卡为 最大似然选择分布参数。

原书依据 · 3 处

6.2.3 朴素贝叶斯分类算法的具体步骤

训练估计每个类别的先验和类条件分布,推断用观测特征计算各类后验得分,再返回最大者。原书的 A、C 示例误写成乘入 B,应按实际特征表示和对应分布取项。

6.3 在Python中使用朴素贝叶斯分类算法

库按数据表达选用不同类条件分布。多项式型常用于计数特征,伯努利型表达二值特征,高斯型表达连续特征。书中用鸢尾花演示 MultinomialNB 的接口,应用时应核对输入与分布假设。

相关知识卡为 特征类型决定贝叶斯变体。

原书依据 · 1 处

6.4 朴素贝叶斯分类算法的使用场景

文本分类可把词项转成特征,再用类先验与词项似然进行判别。类内相关会让独立近似失真,应在目标数据上评估。原文举出垃圾邮件应用作为场景。

第7章 决策树分类算法

决策树通过一串条件测试给样本分类。条件由数据学习,挑选标准是划分后类别分布的变化。

7.1 决策树分类:用“老朋友”if-else进行选择

一棵树把 if-else 组合成由根到叶的判断路径。不同树算法可以采用相同推断结构,但使用不同方式训练节点。

7.1.1 程序员的选择观:if-else

书中的 A、B、C 为布尔字段,只有全部为真才走到正类叶子。路径可解释为每个沿途条件的合取,任一分支不满足便转入不同结果。

相关知识卡为 叶节点汇总沿途条件。

原书依据 · 1 处

7.1.2 如何种植一棵有灵魂的“树”

训练时以属性集为候选来源,针对当前节点的样本比较哪些规则能有效分开类别。相比人工编写判断,决策树的核心是从训练数据挑这些条件。

相关知识卡为 决策树从数据选条件。

原书依据 · 1 处

7.1.3 决策条件的选择艺术

纯度描述一个节点的样本是否集中在同一类,二元节点类占比各半时最混合。挑条件时比较切分能否让子节点总体更纯。信息增益、增益率与基尼不纯度分别对应不同树算法。

7.1.4 决策树的剪枝问题

树越深越可能记住随机相关。预剪枝在扩展之前停止,后剪枝先让树增长再把不稳定的子树折叠成叶子。原书示例的分裂正确数应为 7+3=10,折叠为多数类后为 12,均以 19 为分母。

相关知识卡为 剪枝约束树的复杂度。

原书依据 · 1 处

7.2 决策树分类的算法原理

树递归地在当前子集上选条件,分裂后分别处理子节点。纯节点、无有效候选或触达深度等限制可以停止。未完全划分时,分类叶子通常用所在训练子集的多数类。

相关知识卡为 树在节点递归寻优。

原书依据 · 1 处

7.2.2 决策树分类算法的数学解析

以节点内类别比例为 p,熵是 −Σp log₂p,基尼不纯度是 1−Σp²。纯节点两者都为零。ID3 比较分裂前的熵和分裂后按规模加权的熵。C4.5 用分支规模的熵调整信息增益,以缓和多取值属性偏好。CART 通常选择加权基尼更小的二元划分。

相关知识卡为 熵衡量节点类别混杂。

相关知识卡为 信息增益按子集规模加权。

相关知识卡为 增益率抑制细碎切分。

相关知识卡为 基尼度量类别混杂。

原书依据 · 4 处

7.2.3 决策树分类算法的具体步骤

选定分裂判据,比较候选,再对各子集合递归处理。原节描述用过即剔除的流程,连续特征在支持阈值重用的树中仍可沿一条路径多次出现。

7.3 在Python中使用决策树分类算法

DecisionTreeClassifier 可选择基尼或熵,回归估计器使用相应的数值目标判据。ExtraTree 在候选划分上引入随机性。鸢尾花示例训练集得分为1,仍需用独立数据衡量泛化。

相关知识卡为 树的选择标准可以替换。

原书依据 · 1 处

7.4 决策树分类算法的使用场景

单棵较小的树可展示决策路径,复杂树的解释成本和过拟合风险更高。特征相关会影响哪些变量先被选中,并不需要假定特征独立才能使用熵或基尼。书中用体感识别说明树可以参与图像相关应用。

第8章 支持向量机分类算法

第8章先解释线性分界的几何准则,再讲如何通过特征映射获得非线性边界,以及如何避免显式构造高维坐标。

8.1 支持向量机:线性分类器的“王者”

最大间隔规定分界标准。映射改变表示空间,可以提高边界表达能力。核函数直接提供映射空间的内积,使相应的求解无需显式展开特征。

8.1.1 距离是不同类别的天然间隔

线性可分时可以有多条分界线。最接近分界线的点决定可留多少余地,最大间隔优先把这条最窄的缓冲带做宽。

8.1.2 何为“支持向量”

硬间隔要求训练点分到正确侧且满足几何余量。软间隔通过惩罚允许部分样本落入间隔或越过边界。硬间隔下贴在间隔边缘的训练点提供活跃约束。

相关知识卡为 软间隔允许部分违规。

相关知识卡为 支持向量决定分界。

原书依据 · 2 处

8.1.3 从更高维度看“线性不可分”

原坐标中不能用直线分开的样本,可以在变换后以线性面分开。书中将中间点和两侧点的分离比作弯曲铁丝。训练和推断须对所有输入使用同一映射。

相关知识卡为 特征映射改变分界形状。

原书依据 · 1 处

8.2 支持向量机分类的算法原理

线性 SVM 本身可以工作,非线性 SVM 可在映射空间求大间隔面。若求解和预测只调用样本两两内积,就可以直接由原始坐标算出相同的内积值,省去高维向量。核的选择仍影响计算量和模型表现。

相关知识卡为 核函数直接算高维内积。

原书依据 · 1 处

8.2.2 支持向量机分类算法的数学解析

点到超平面的无符号距离是 |w·x+b|/‖w‖。硬间隔把最近正负样本的得分定标为 +1、−1,带宽是 2/‖w‖。在约束下最大化带宽等价于最小化平方范数。引入拉格朗日乘子后,对偶涉及样本内积,可用核替换。书中提到 SMO 作为二次规划求解方法。

相关知识卡为 最大间隔取最近点。

相关知识卡为 对偶形式显露成对内积。

原书依据 · 2 处

8.2.3 支持向量机分类算法的具体步骤

指定核后以核内积定义相应优化问题,求出分界面并用于预测。核计算可以隐式完成特征表示,线性核则可保留原空间结构。

8.3 在Python中使用支持向量机分类算法

svm 模块提供分类、回归和单类异常识别估计器。书中示例使用 SVC 的径向基核并在同一鸢尾花数据上调用得分。配置核参数时要以实际安装版本为准。

相关知识卡为 按任务选择支持向量估计器。

原书依据 · 1 处

8.4 支持向量机分类算法的使用场景

核给分类边界提供更多形状,也带来选择与验证成本。虽然最后的预测可以只依赖支持向量,训练时仍需从完整训练集识别哪些点约束了边界。二元 SVM 也能经多个分类器组合用于多类任务。

第9章 K-means聚类算法

第9章将任务改为从无标注数据寻找分组。K-means 用固定数量的质心表示簇,再以距离分配成员。

9.1 用投票表决实现“物以类聚”

标注需要人工或专门知识,而未标注的样本也能用来探索结构。对有限标签加上未标注样本进行训练是半监督学习,聚类结果可作为候选伪标签,但噪声取决于簇与真实标签是否相符。

相关知识卡为 聚类可辅助构造伪标签。

原书依据 · 1 处

9.1.1 聚类问题就是“物以类聚”的实施问题

分类学习已定义的标签,聚类在选定特征与相似度下找样本结构。书中两个故事分别用于说明重复回答可聚合、选择不同特征会改变类别判断。故事承担类比作用。

9.1.2 用“K”来决定归属类别

聚类结果中的每个分组称为簇。K-means 需要预设簇数 K。相同对象可以按形状分成两个簇,也可以按颜色分成三个,因此 K 要与用途和数据表示一起解释。

相关知识卡为 簇数是分析设定。

原书依据 · 1 处

9.1.3 度量“相似”的距离

样本相似必须指定比较的量。标准 K-means 用欧氏距离比较到各质心的接近程度。量纲变化会影响距离和分簇。

9.1.4 聚类问题中的多数表决

KNN 给每个新查询找 K 个有标签邻居。K-means 则从 K 个初始质心开始,将全体样本分给最近质心。对每个簇逐维求均值可以重算新质心。书中的三个二维点得到约 (2.667,2.333)。

相关知识卡为 质心是簇内逐维均值。

原书依据 · 1 处

9.2 K-means聚类的算法原理

初始化后先固定中心,对每个点寻找最近中心,再固定当前分组,对每个簇求均值。两个步骤交替,直到中心或成员足够稳定。

相关知识卡为 K均值交替分配和更新。

原书依据 · 1 处

9.2.2 K-means聚类算法的数学解析

标准 K-means 目标是样本到各自质心的平方欧氏距离总和。对固定簇,均值能最小化这个平方和。若改成未平方的距离和,最优中心一般不是均值。

相关知识卡为 平方距离目标导出均值。

原书依据 · 1 处

9.2.3 K-means聚类算法的具体步骤

无标签特征矩阵可用于初始化中心、按距离分配、重算中心并停止。输出编号表示所属簇,和人工类别的含义需要另行对齐。

9.3 在Python中使用K-means聚类算法

KMeans 的 n_clusters 参数指定质心数,fit_predict 返回每行对应的簇编号。MiniBatchKMeans 用小批数据更新中心。DBSCAN 用稠密区域与低密度间隔形成簇,MeanShift 以局部均值迭代靠近密度峰。AffinityPropagation 选择代表点进行聚类,书中将其归为层次聚类并不准确。

相关知识卡为 簇编号只表示成员归属。

相关知识卡为 小批量更新减少计算。

相关知识卡为 密度定义聚类结构。

原书依据 · 3 处

9.4 K-means聚类算法的使用场景

K-means 要求特征可求均值,初始中心和偏远点会显著影响结果。书中以新闻聚合示意无监督分组的用途。

相关知识卡为 初始化和离群点改变聚类。

原书依据 · 1 处

第10章 神经网络分类算法

第10章从单元计算出发,用有序连接构成网络。前向计算预测,反向传播计算训练所需的梯度。

10.1 用神经网络解决分类问题

书中以历史叙述介绍人工神经元、非线性激活和反向传播逐渐组合成多层模型。硬件算力影响模型可训练的规模。感知机的阈值输出依然只产生线性分界,增加非线性隐藏层才可构造弯曲分界。

10.1.1 神经元的“内心世界”

人工神经元是计算单元,先将输入加权求和并加偏置,再应用响应函数。前面单元的输出可送到多个后续单元,形成网络。

相关知识卡为 神经元把加权和再变换。

原书依据 · 1 处

10.1.2 从神经元看分类问题

阈值例子用有没有达到激活条件解释单元响应。多个单元依次传递计算值,形成从输入到输出的正向传播。实际网络的隐藏响应也可为连续值。

10.1.3 神经网络的“细胞”:人工神经元

硬阈值在跳变点不可导,Sigmoid 和 tanh 平滑但在输入很大或很小处饱和。ReLU 的正半轴保持斜率 1,负半轴输出零。Sigmoid 与 tanh 在零点附近的导数分别最大,原书此处写反。

10.1.4 构成网络的魔力

输入层传递原始特征,隐藏层重组特征,输出层给出预测。每层都只做仿射运算时,多层合起来仍是一次仿射运算。插入非线性激活后,不同层才可以形成更复杂的组合。

相关知识卡为 非线性让层组合有用。

原书依据 · 1 处

10.1.5 神经网络与深度学习

深度学习沿用网络、激活与传播,并可使用卷积、池化等结构处理特定数据。该节用于定位学科关系,未展开各结构的数学。

10.2 神经网络分类的算法原理

前向阶段从输入逐层求出激活和最终预测,损失函数对预测评分。反向阶段利用链式法则求损失对参数的敏感度,优化器再据此调节权重。

相关知识卡为 前向传播逐层计算。

原书依据 · 1 处

10.2.2 神经网络分类算法的数学解析

激活既改变函数形状,也改变误差信号能否向更早层传递。反向传播沿计算关系逐步乘上局部导数,遇到一项影响多条路径时,将各条贡献相加。它计算梯度,优化器使用梯度更新参数。

相关知识卡为 激活函数改变梯度流。

相关知识卡为 反向传播复用链式法则。

原书依据 · 2 处

10.2.3 神经网络分类算法的具体步骤

训练循环由初始化、前向、损失、反传和更新构成。通常按达到验证目标、迭代预算或停止条件终止。

10.3 在Python中使用神经网络分类算法

MLPClassifier 和 MLPRegressor 分别对应分类和回归。鸢尾花示例展示分类器的 fit、predict 和 score。BernoulliRBM 是无监督特征学习模型,可以作为其他估计器的上游。

相关知识卡为 任务决定MLP输出接口。

原书依据 · 1 处

10.4 神经网络分类算法的使用场景

网络可以组合成复杂函数,解释单项预测则通常比线性模型或小树困难。容量与优化设置都影响结果,扩展网络时应同时检查泛化及训练是否稳定。

第11章 集成学习方法

末章把关注点从单模型内部移到模型之间。集成需要确定哪些成员独立训练、哪些受前一阶段影响,以及怎样组合输出。

11.1 集成学习方法:三个臭皮匠赛过诸葛亮

面对同一任务,可用多个模型各自提供预测,再设计组合规则吸收其互补性。组合能否改进仍须相对于单模型验证。

11.1.1 集成学习方法与经典机器学习算法的关系

基学习器是作为集成成员的模型,可以同构也可以异构。弱学习器描述预测能力较弱但具备有效信号的成员。原书以同构、异构区别基学习器和弱学习器,这不是这两个术语的通用分界。

相关知识卡为 基学习器是集成的成员。

原书依据 · 1 处

11.1.2 集成学习的主要思想

集成的机会来自成员可能在不同样本上擅长不同问题。成员若给出相同答案,叠加它们通常提供不了额外信息。最终效果由数据、成员差异和组合方法决定。

相关知识卡为 集成需要互补错误。

原书依据 · 1 处

11.1.3 几种集成结构

训练结构可以独立并行,也可串行依赖前序模型。预测聚合可对数值取平均,对类别标签投票,或者加权组合。如果设定绝对多数门槛,未达到门槛时可拒绝决定。严格过半的 6 票门槛为 4 票。

相关知识卡为 集成区分训练与聚合。

原书依据 · 1 处

11.2 集成学习方法的具体实现方式

Bagging 对原始训练集做多次有放回采样,各样本子集独立训练成员,分类时汇总投票,回归时可平均。重采样给同一种基算法提供不同输入。

相关知识卡为 有放回采样制造成员差异。

原书依据 · 1 处

11.2.2 Boosting算法

Boosting 逐轮添加成员,后续训练受既有预测影响。书中用更重视误分类样本说明 AdaBoost 式更新,梯度提升则拟合损失下降方向上的修正。

相关知识卡为 提升逐轮修正现有模型。

原书依据 · 1 处

11.2.3 Stacking算法

Stacking 让多个第一层模型先预测,把各输出拼成新的特征交给第二层学习器。第二层训练必须避免把基模型对训练样本的拟合输出直接当作有代表性的输入。

相关知识卡为 堆叠用模型预测当特征。

原书依据 · 1 处

11.3 在Python中使用集成学习方法

随机森林用多棵随机化的树聚合输出。ExtraTrees 在切分时进一步加入随机性。AdaBoost 与梯度提升都逐轮增添成员。书中用 RandomForestClassifier 训练和预测,再通过 estimators_ 检查成员树。

相关知识卡为 随机森林聚合随机化树。

原书依据 · 1 处

11.4 集成学习方法的使用场景

集成可用于分类和回归,也可扩展到其他建模目标。是否选用集成,要比较在目标评估协议下的收益,以及额外训练、推断和解释成本。

跨章综合

比较算法时,先区分任务和模型。线性回归对连续目标拟合,Logistic 回归也计算线性分数,但将其转成条件概率再用阈值分类。SVM 同样可以使用线性分数,却以分界面的几何间隔判断好坏。三者都能用参数表示预测规则,训练目标和输出含义各不相同。

特征表示决定模型能看见什么。KNN 直接在输入特征上找局部参照,因此距离的量纲会改变邻居。K-means 也用距离,但它没有训练标签,通过质心和分组的循环构造结构。SVM 核函数隐式改变相似性空间,神经网络则通过训练一层层重组表示。这些办法都依赖输入里有可用信号。

分类器如何使用证据也不一样。朴素贝叶斯从类别先验和各特征在类内的分布得到得分,假设让它能拆开复杂联合分布。决策树通过划分把不同类别逐层分开,结果可沿分支解释。神经网络用反向传播算梯度,把许多中间参数一起交给优化过程。选择模型时可同时考虑所需解释、训练成本、推断延迟和数据规模。

最后,集成调节的是模型之间的关系。Bagging 用训练样本扰动构造成员,Boosting 用前序误差引导新成员,Stacking 用成员预测训练组合器。各类书中示例方便理解接口。要比较应用效果,先固定数据切分、指标和基线,再将模型选择与最终测试分开。

发散与实践

两项后续练习分别沿着书中聚类和集成的机制向实现深入。“跟踪 K-means 的分配更新”关注初始化、目标与停止条件。“查看堆叠怎样生成折外特征”关注训练阶段的数据边界和部署时的预测链路。两份计划均含基于固定版本的官方源码映射。

生成进度与管理记录

机器学习算法的数学解析与Python实现

Skill 版本:v24 执行模式:light 建档进度:done 整书笔记 四象限评级:经典原理

信息浓度:高

稳定性:高

优先级:P4

理由:全书通过平方残差、对数似然、纯度、间隔、质心与梯度说明模型为何能工作。书中的安装版本、接口截图和当年案例会随工具变化,公式、目标和适用条件仍可迁移。

章节进度追踪表

章节号 章节标题 状态 卡片数
前言 前言 done 1
01 机器学习概述 done 12
02 机器学习所需的环境 done 6
03 线性回归算法 done 7
04 Logistic回归分类算法 done 7
05 KNN分类算法 done 7
06 朴素贝叶斯分类算法 done 7
07 决策树分类算法 done 9
08 支持向量机分类算法 done 7
09 K-means聚类算法 done 9
10 神经网络分类算法 done 6
11 集成学习方法 done 7

各章下的 122 个 EPUB 正文项,以及相应位置和候选去向见 阅读覆盖。

实践卡进度

序号 实践标题 实践方式 状态(pending/done) 关联章节 产出
001 跟踪 K-means 的分配更新 实现深读 done 09 实践卡,版本、入口和首轮映射
002 查看堆叠怎样生成折外特征 实现深读 done 11 实践卡,版本、入口和首轮映射

实践候选筛选:done 线性模型手写练习暂缓,书中解析与短算例已能说明目标函数。鸢尾花接口复现并入折外评估计划,避免重复跑训练集示例。

非正文排除

spine项 类型 排除理由
id_1 版权 标题、出版机构、ISBN 和权利信息
id_2 目录 章节导航

待关联术语

术语名 出现章节 一句话语境
MD5 007 作为固定程序行为的对照例子
牛顿法 010 列举优化方法
拟牛顿法 010 列举优化方法
共轭梯度法 010 列举优化方法
区块链共识 012 用作近邻表决的顺带类比,未解释共识协议
区块链共识 053 作为表决类比被提及,书中未展开协议
Softmax 042 作为多分类的常见函数被提名
LR-FTRL 049 作为点击预测中的变体被提及
KDTree 059 只列为邻居检索相关类
BallTree 059 只列为邻居检索相关类
黑天鹅事件 062 作为不确定性的引子出现
马尔可夫链 067 作为另一类简化假设例子被提及
XGBoost 072 作为基于树模型的集成方法被提名
LightGBM 072 作为基于树模型的集成方法被提名
ExtraTree 080 介绍带随机候选的树变体,条目保存于本节笔记
Kinect 081 作为人体动作识别设备的应用例子
SMO 088 作为支持向量机对偶二次规划的求解算法被提到
QVM 091 作为支持向量分类的商业案例被提及,书中内部机制为推测
层次聚类 095 作为划分类之外的聚类类别提及
网格聚类 095 作为划分类之外的聚类类别提及
AffinityPropagation 101 原节列为聚类库方法,流程归类有误,待专题补充
M-P 模型 104 作为早期人工神经元模型提及
卷积层 109 列为深度网络常见部件
池化层 109 列为深度网络常见部件
全连接层 109 列为沿用的网络部件
BernoulliRBM 113 作为同包估计器被列出
Kaggle 117 作为竞赛平台被提名
天池 117 作为竞赛平台被提名

引用文献

标题 类型 出现章节 一句话语境
Scikit-Learn 文档 框架 006 采用该文档的数学表达习惯
Matplotlib 框架 038 例子导入 pyplot 绘制散点,未展开库的结构
纯粹理性批判 书 065 作为先验与后验的词义背景提及
PyTorch 框架 105 举作线性变换接激活的实现例子

资金安全问题案例

问题标题 问题卡 解决方案卡(如有) 出现章节 一句话说明

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

暂无公开主题。