此笔记位置已失效,请从目录继续阅读。
全书导读
本书以 Python 案例引入机器学习。读者从特征、标签、训练和验证学起,再依次理解距离、线性分数、树的切分、概率、间隔和神经网络如何从数据形成预测。后半部分用图像说明输入的空间结构为何重要。读案例时,可先辨认输入、输出与误差判断,再看实现接口。
全书主线
采集与预处理决定模型看见什么,建模准则决定它用哪些信息预测,留出数据判断学习所得能否推广。全书先提供统一的工作流程,再比较多个模型如何解决各自的问题。遇到新任务时,先明确是否有标签、目标是类别还是数值,随后决定特征、模型和评估方法。
推荐序一
推荐序一从工程人员遇到公式门槛的经历解释本书的读法。先从可运行的 Python 案例认出数据、模型和预测结果,再回头读机制。序言的作者经历和推荐语保留为阅读背景。
推荐序二
推荐序二把受众扩展到非计算机专业研究人员和准备转行的程序员。它介绍案例、代码和运行截图在教学中的分工。原书后续的示例可用来识别工作流,能否复现实验仍取决于版本、数据与切分。
前言
作者的前言交代了入门路径:从问题和案例得到直觉,再理解算法和必要数学。案例通常通过已有机器学习工具展示数据如何逐步成为可以预测的模型。二维码、致谢和职业经历提供出版背景。
第1章 机器学习概述
预测从选择输入和目标开始。挑苹果时,外观是预测时可用的特征,尝过后才知道的甜度可以当训练标签。得到原数据后要处理缺失、编码和尺度,再选择模型并用留出的数据判断它能否推广。Python、数组/表格工具、绘图和建模库承担不同工作,理解算法本身能帮助判断参数与数据的关系。 监督学习利用训练标签,分类输出类别,回归预测数值。聚类用没有标签的数据寻找相似组,强化学习则用交互奖励评价连续决策。训练好而验证差可能提示过拟合,两边都差可检查特征与模型容量。分类效果也要拆开看:精确率回答报出的结果有多准,召回率回答找出了多少实际正例。F1 合并这两个数,ROC 用一系列阈值显示漏报与误报的变化。图 1-17 至 1-19 分别把计数、F1 公式和阈值曲线可视化。
按原书小节查阅机制、案例与适用条件。
- §1.1 从样本学习预测规则
- §1.2.1 原始观测需数值表示
- §1.2.2 距离模型对尺度敏感
- §1.2.3 特征工程连接数据与模型
- §1.2.4 先定预测任务再选模型
- §1.3.1 科学计算工具的分工
- §1.3.2 Notebook混排代码与结果
- §1.3.3 用算法原理指导调参
- §1.3.4 深层网络逐层变换表示
- §1.4.1 分类与回归看目标类型
- §1.4.2 无标签数据可寻找结构
- §1.4.3 强化学习优化累计奖励
- §1.5.1 训练好测试差提示过拟合
- §1.5.2 训练与验证都差提示欠拟合
- §1.6.1 混淆矩阵记录四类结果、精确率和召回率分母不同
- §1.6.2 F1调和精确率与召回率、ROC展示阈值的误报代价
原书依据 · 18 处
- 机器学习概述 1.1 · 查看原书依据
- 机器学习概述 1.2.1 · 查看原书依据
- 机器学习概述 1.2.2 · 查看原书依据
- 机器学习概述 1.2.3 · 查看原书依据
- 机器学习概述 1.2.4 · 查看原书依据
- 机器学习概述 1.3.1 · 查看原书依据
- 机器学习概述 1.3.2 · 查看原书依据
- 机器学习概述 1.3.3 · 查看原书依据
- 机器学习概述 1.3.4 · 查看原书依据
- 机器学习概述 1.4.1 · 查看原书依据
- 机器学习概述 1.4.2 · 查看原书依据
- 机器学习概述 1.4.3 · 查看原书依据
- 机器学习概述 1.5.1 · 查看原书依据
- 机器学习概述 1.5.2 · 查看原书依据
- 机器学习概述 1.6.1 · 查看原书依据
- 机器学习概述 1.6.1 · 查看原书依据
- 机器学习概述 1.6.2 · 查看原书依据
- 机器学习概述 1.6.2 · 查看原书依据
第2章 机器学习中的数据预处理
数据预处理把带噪声、缺失和混合类型的记录变成一致的模型输入。缺失处理需要考虑删行是否改变数据构成。文本标签可映射成整数,无序输入类别可展开为独热坐标。数值特征可以按均值和标准差缩放,也可按极值映射到区间。标准化改变均值与尺度,原来的分布形状仍然存在。 降维减少每个样本的坐标数。PCA 从数据中找方差大的正交方向,将样本投影到这些方向。红酒示例用二维散点观察三个类别,并用载荷图解释不同成分与原特征的关系。预测建模时,统计变换应先在训练数据上拟合,再重复用于验证与预测。
按原书小节查阅机制、案例与适用条件。
- §2.1 先按字段诊断数据质量
- §2.2.1 标准化和区间缩放、二值化只保留阈值两侧
- §2.2.2 缺失值补全要选统计量、标签编码保留类别身份
- §2.2.3 独热编码消除任意顺序
- §2.2.4 用对照实验检验预处理
- §2.3.1 降维用信息交换成本
- §2.3.2 PCA按方差选投影方向
- §2.3.3 用载荷解释低维坐标
第3章 k最近邻算法
k 最近邻保留带标签的样本。对新样本先算距离、选最近的 k 个,再比较它们的标签票数。原书电影示例将镜头数画成坐标,图表可以逐个复算距离并核对投票。预测常由邻域大小、度量规则与缩放共同决定。欧氏距离沿直线,曼哈顿距离沿坐标轴,切比雪夫距离只看差异最大的轴。 水果示例把重量、宽度、高度和颜色分数作为输入,按固定随机种子留出测试集。用距离加权可让更近的样本有更大票重。一个小基线便于解释错误,但直接遍历样本的查询成本随样本量上升,在高维下还可能失去可靠的相似性。
按原书小节查阅机制、案例与适用条件。
- §3.1 近邻投票决定类别
- §3.2 用距离排序复核近邻
- §3.3.1 近邻数量控制平滑程度
- §3.3.2 三种距离表达不同移动规则
- §3.3.3 坐标缩放会改变近邻
- §3.4.1 用邻居明细解释预测
- §3.4.2 留出样本检验近邻模型
- §3.5 近邻把计算成本留到预测
第4章 回归算法
线性回归用特征的加权和加截距预测数值。房价案例先查看散点和线性相关系数,再用一元直线或多元平面拟合。最小二乘通过平方残差来比较拟合结果。梯度下降提供一种逐步找低损失参数的方式,每步使用多少样本决定计算成本和方向波动。 逻辑回归把线性分数映射为概率,再通过阈值决定类别。图 4-17 至 4-19 连接了 S 形曲线、阈值判定和线性分界。原书小样本贷款案例适合观察输入、系数和分类输出。回归案例用全样本作拟合时,分数只描述观察到的拟合效果,需要另外留出数据才能测泛化。
按原书小节查阅机制、案例与适用条件。
- §4.1.1 线性回归用加权和预测
- §4.1.2 最小二乘惩罚平方残差、损失函数把误差变成目标
- §4.1.3 梯度下降沿负梯度更新、批量大小影响梯度成本
- §4.2.1 相关系数配合散点图
- §4.2.2 训练集拟合分数有边界
- §4.3.1 逻辑回归先估概率再分类
- §4.3.2 用小例核对分类输出
- §4.4 回归模型适合做基线
第5章 决策树
决策树把问题组织为从根节点到叶节点的一系列规则。训练时,一个规则如果能把标签分得更纯,通常更值得优先尝试。熵与基尼不纯度都用标签比例衡量纯度,信息增益衡量分裂后下降多少,增益比进一步考虑分组过碎的偏好。 树生长过深时可能记住偶然样本,预剪枝在生长中限制分裂,后剪枝先长树再移去收益低的子树。隐形眼镜与电影例说明输入编码、深度和可视化怎样进入同一工作流。图 5-12 中可以沿规则、样本数和叶子类别检查训练结果。原书将使用熵的树等同于 ID3,这里区分分裂准则与整套建树实现。
按原书小节查阅机制、案例与适用条件。
- §5.1 决策树沿特征规则到叶子
- §5.2 类别熵衡量标签不确定性
- §5.3 信息增益比较切分前后、信息增益比惩罚碎片分组
- §5.4 基尼不纯度比较分类切分
- §5.5 剪枝限制树对噪声的拟合
- §5.6 训练树前核对类别编码
- §5.7 用树图复核预测路径
- §5.8 类别权重影响树的偏好
第6章 K-means聚类算法
聚类在给定特征表示下寻找分组,产出的簇名称需要结合样本解释。K 均值先选初始中心,在“分给最近中心”和“以成员均值更新中心”之间迭代。图 6-1 到 6-6 展示分配和质心如何交替变化。改变 K、初始化、尺度或异常点的处理都会影响结果。 鸢尾花例比较特征表示,客户分群用三张二维图解释三个变量的关系,足球案例先缩放来自不同赛事的名次再比较距离。说明簇代表什么之前,要明确分析目的,并检查模型是否只是放大某个量纲或编码方法。
按原书小节查阅机制、案例与适用条件。
- §6.1 聚类分组需要人工解释
- §6.2 K均值交替分配与更新
- §6.3.1 簇内平方和随簇数下降、余弦相似度关注方向
- §6.3.2 极端点能拉动聚类中心
- §6.4 分群特征由分析目的决定
- §6.5 对比特征组合解释簇分离
- §6.6 多视图辅助解释客户分群
- §6.7 跨量纲排名先统一尺度
第7章 随机森林
随机森林把多个随机化的树合在一起预测。分类时可投票或聚合类别概率,回归时可取平均。每棵树的有放回重采样会留下袋外样本,使训练数据中的同一个样本可用未见过它的树估计误差。森林希望个体错误有所差异,才有机会通过聚合抵消。 红酒示例在同一任务上比较单树和森林,图 7-2 与 7-3 给出单次对照和多次评估。树越多,内存和计算开销也会增长。泰坦尼克号例进一步展示对缺失字段的检查、类别编码及分类报告。船舱、年龄等变量的缺失程度不同,不能用同一条规则草率填补。
按原书小节查阅机制、案例与适用条件。
- §7.1.1 随机森林聚合多棵树
- §7.1.2 袋外样本估计泛化误差、森林回归难外推训练范围
- §7.2 树数在精度和资源间取舍、投票收益依赖错误差异
- §7.3 按字段处理不同程度缺失
第8章 朴素贝叶斯算法
贝叶斯定理解决观察到结果后如何反推假设的问题。先验表示看到证据前的权重,似然说明该假设能多好解释证据,最后以所有假设的总权重归一化。曲奇饼例把两只碗的先验分别乘出香草的概率,再得到观测香草后来自碗 A 的 0.6。低基率示例说明误报率与一个阳性结果的可信度使用不同分母。 拼写纠错先按编辑距离找到候选,再用语料词频排序。垃圾邮件分类把文本转成词频向量,按类别估计条件概率,用平滑防止罕见词导致概率为零。朴素贝叶斯近似把若干特征在给定类别后当作独立变量。连续鸢尾花尺寸与词频、词是否出现分别适合不同的条件分布假设。
按原书小节查阅机制、案例与适用条件。
- §8.1 边缘联合条件概率、用证据更新先验概率、低基率会拉低阳性预测值
- §8.2 先乘似然再归一化
- §8.3 拼写建议结合词频和编辑
- §8.4 类别内独立简化文本建模
- §8.5 按特征形态选朴素贝叶斯
第9章 支持向量机SVM
支持向量机寻找能保留较宽间隔的分界。比较两条都能分开旧样本的直线时,最近点有更大余量的直线对小扰动更稳健。现实数据有离群点和重叠,软间隔允许部分点违反间隔约束,并以 C 控制惩罚。核方法让模型在特征空间使用线性分界,而原空间的边界可以弯曲。 房价案例用不同核做支持向量回归,图 9-12 记录预处理和改参数后的分数变化。鸢尾花例展示标签映射与二维分类区域。模型选择需要一起看尺度、核、C、验证结果及样本对计算成本。
按原书小节查阅机制、案例与适用条件。
- §9.1 最大间隔留出分类余量
- §9.2.1 支持向量决定分类边界
- §9.2.2 软间隔允许部分样本违约
- §9.2.3 核函数隐式计算高维内积
- §9.3 核宽度控制局部影响、用二分类器构建多分类
- §9.4 支持向量方法可做回归
- §9.5 加载数值前分清标签列
- §9.6 核矩阵成本受样本数影响
第10章 神经网络
一个神经元先对输入加权求和,再经过激活。若每层都只进行线性与偏置变换,多层的组合仍可写成单个同类变换。ReLU 等非线性激活扩大表达范围。多层感知器逐层变换展平后的像素,卷积网络保留二维邻近关系。图 10-8 用局部数字说明乘加,图 10-10 显示池化压缩响应图。 教材从手写单神经元开始,将前向输出与标签之差用于调整权重。库示例继续比较展平输入的全连接网络和保留高、宽、通道轴的卷积网络。二者最终都可为十个数字给出分数,并用 Softmax 形成一组总和为一的输出。教材截图里的准确率属于各自示例条件。
按原书小节查阅机制、案例与适用条件。
- §10.1.1 感知器把加权和过阈值
- §10.1.2 非线性激活增强表达力、Softmax归一化类别分数
- §10.1.3 全连接网络逐层组合特征
- §10.2.1 图像张量保留空间与通道
- §10.2.2 卷积核重复提取局部特征、池化压缩局部响应
- §10.3 神经元反复用误差调权
- §10.4 手写数字以向量输入MLP
- §10.5.1 顺序模型把训练职责分开
- §10.5.2 类别目标与输出维度匹配
- §10.5.3 卷积保留输入的二维布局
第11章 人脸识别入门实践
人脸图像的处理链可拆为定位脸框、定位关键点、对齐和编码,最后比较定长向量。图 11-1 显示前置检测失败会阻断后续环节,图 11-2 显示关键点分布。核验将输入与候选模板比较,搜索要在多模板中找相似候选,还要支持未匹配结果。照明与姿态会改变输入,评估需分开量化检测、误拒和误接受。 案例用局部方向梯度做检测,再标出脸部关键点,也展示了视频帧上的处理。表情示例以嘴部和眼眉几何读出可见动作,动作不足以单独确定真实情绪。身份比对示例展示了编码和选择阈值的概念。嵌入距离的度量及阈值方向需要以使用的实现为依据。
按原书小节查阅机制、案例与适用条件。
- §11.1.1 核验身份与查找身份、活体检测评估呈现真实性、检测和识别基准各测一环
- §11.1.2 检测定位为后续环节供框、对齐降低姿态造成的差异、定长特征支持阈值比对
- §11.2 方向梯度描述局部轮廓
- §11.3 关键点规则只描述外观
- §11.4 识别距离阈值要按任务校准
跨章综合
距离是最近邻、K 均值和径向基核的共同构件,但承担不同职责。最近邻使用距离找训练标签,K 均值使用距离分配中心,径向基核根据距离衰减形成相似性。因此尺度变化会影响三类模型,变换要用一致的训练统计量。
单棵树在每个节点追求标签更纯,森林再组合多棵有差异的树。与树相比,逻辑回归把所有特征压成一个线性分数,支持向量机从分界余量与违约代价入手,朴素贝叶斯把先验和类别内特征统计相乘。各模型背后的假设不同,只有在相同划分和指标下,分数才便于对照。
图像章节把前面的数据与指标原则带到多阶段系统中。输入格式、前置检测和识别阈值都会影响结果。准确率可概括整体表现,混淆矩阵和分阶段指标才有助于定位失败发生在哪一步。
发散与实践
读者延伸有两个计划。第一个用可手算的玩具样本观察单位变化如何改变近邻投票,第二个用固定的一批合成分类分数观察阈值如何改变误报与漏报。两项均为待执行的本地计划。