来源书籍

AI制胜:机器学习极简入门

Skill 版本:v24 经典原理 107 张卡片

宋立桓 · 清华大学出版社 · 2020-07 · 第1版 · ISBN 9787302555513

全书导读

本书以 Python 案例引入机器学习。读者从特征、标签、训练和验证学起,再依次理解距离、线性分数、树的切分、概率、间隔和神经网络如何从数据形成预测。后半部分用图像说明输入的空间结构为何重要。读案例时,可先辨认输入、输出与误差判断,再看实现接口。

全书主线

采集与预处理决定模型看见什么,建模准则决定它用哪些信息预测,留出数据判断学习所得能否推广。全书先提供统一的工作流程,再比较多个模型如何解决各自的问题。遇到新任务时,先明确是否有标签、目标是类别还是数值,随后决定特征、模型和评估方法。

推荐序一

推荐序一从工程人员遇到公式门槛的经历解释本书的读法。先从可运行的 Python 案例认出数据、模型和预测结果,再回头读机制。序言的作者经历和推荐语保留为阅读背景。

推荐序二

推荐序二把受众扩展到非计算机专业研究人员和准备转行的程序员。它介绍案例、代码和运行截图在教学中的分工。原书后续的示例可用来识别工作流,能否复现实验仍取决于版本、数据与切分。

前言

作者的前言交代了入门路径:从问题和案例得到直觉,再理解算法和必要数学。案例通常通过已有机器学习工具展示数据如何逐步成为可以预测的模型。二维码、致谢和职业经历提供出版背景。

第1章 机器学习概述

预测从选择输入和目标开始。挑苹果时,外观是预测时可用的特征,尝过后才知道的甜度可以当训练标签。得到原数据后要处理缺失、编码和尺度,再选择模型并用留出的数据判断它能否推广。Python、数组/表格工具、绘图和建模库承担不同工作,理解算法本身能帮助判断参数与数据的关系。 监督学习利用训练标签,分类输出类别,回归预测数值。聚类用没有标签的数据寻找相似组,强化学习则用交互奖励评价连续决策。训练好而验证差可能提示过拟合,两边都差可检查特征与模型容量。分类效果也要拆开看:精确率回答报出的结果有多准,召回率回答找出了多少实际正例。F1 合并这两个数,ROC 用一系列阈值显示漏报与误报的变化。图 1-17 至 1-19 分别把计数、F1 公式和阈值曲线可视化。

按原书小节查阅机制、案例与适用条件。

原书依据 · 18 处

第2章 机器学习中的数据预处理

数据预处理把带噪声、缺失和混合类型的记录变成一致的模型输入。缺失处理需要考虑删行是否改变数据构成。文本标签可映射成整数,无序输入类别可展开为独热坐标。数值特征可以按均值和标准差缩放,也可按极值映射到区间。标准化改变均值与尺度,原来的分布形状仍然存在。 降维减少每个样本的坐标数。PCA 从数据中找方差大的正交方向,将样本投影到这些方向。红酒示例用二维散点观察三个类别,并用载荷图解释不同成分与原特征的关系。预测建模时,统计变换应先在训练数据上拟合,再重复用于验证与预测。

按原书小节查阅机制、案例与适用条件。

原书依据 · 10 处

第3章 k最近邻算法

k 最近邻保留带标签的样本。对新样本先算距离、选最近的 k 个,再比较它们的标签票数。原书电影示例将镜头数画成坐标,图表可以逐个复算距离并核对投票。预测常由邻域大小、度量规则与缩放共同决定。欧氏距离沿直线,曼哈顿距离沿坐标轴,切比雪夫距离只看差异最大的轴。 水果示例把重量、宽度、高度和颜色分数作为输入,按固定随机种子留出测试集。用距离加权可让更近的样本有更大票重。一个小基线便于解释错误,但直接遍历样本的查询成本随样本量上升,在高维下还可能失去可靠的相似性。

按原书小节查阅机制、案例与适用条件。

原书依据 · 8 处

第4章 回归算法

线性回归用特征的加权和加截距预测数值。房价案例先查看散点和线性相关系数,再用一元直线或多元平面拟合。最小二乘通过平方残差来比较拟合结果。梯度下降提供一种逐步找低损失参数的方式,每步使用多少样本决定计算成本和方向波动。 逻辑回归把线性分数映射为概率,再通过阈值决定类别。图 4-17 至 4-19 连接了 S 形曲线、阈值判定和线性分界。原书小样本贷款案例适合观察输入、系数和分类输出。回归案例用全样本作拟合时,分数只描述观察到的拟合效果,需要另外留出数据才能测泛化。

按原书小节查阅机制、案例与适用条件。

原书依据 · 10 处

第5章 决策树

决策树把问题组织为从根节点到叶节点的一系列规则。训练时,一个规则如果能把标签分得更纯,通常更值得优先尝试。熵与基尼不纯度都用标签比例衡量纯度,信息增益衡量分裂后下降多少,增益比进一步考虑分组过碎的偏好。 树生长过深时可能记住偶然样本,预剪枝在生长中限制分裂,后剪枝先长树再移去收益低的子树。隐形眼镜与电影例说明输入编码、深度和可视化怎样进入同一工作流。图 5-12 中可以沿规则、样本数和叶子类别检查训练结果。原书将使用熵的树等同于 ID3,这里区分分裂准则与整套建树实现。

按原书小节查阅机制、案例与适用条件。

原书依据 · 9 处

第6章 K-means聚类算法

聚类在给定特征表示下寻找分组,产出的簇名称需要结合样本解释。K 均值先选初始中心,在“分给最近中心”和“以成员均值更新中心”之间迭代。图 6-1 到 6-6 展示分配和质心如何交替变化。改变 K、初始化、尺度或异常点的处理都会影响结果。 鸢尾花例比较特征表示,客户分群用三张二维图解释三个变量的关系,足球案例先缩放来自不同赛事的名次再比较距离。说明簇代表什么之前,要明确分析目的,并检查模型是否只是放大某个量纲或编码方法。

按原书小节查阅机制、案例与适用条件。

原书依据 · 9 处

第7章 随机森林

随机森林把多个随机化的树合在一起预测。分类时可投票或聚合类别概率,回归时可取平均。每棵树的有放回重采样会留下袋外样本,使训练数据中的同一个样本可用未见过它的树估计误差。森林希望个体错误有所差异,才有机会通过聚合抵消。 红酒示例在同一任务上比较单树和森林,图 7-2 与 7-3 给出单次对照和多次评估。树越多,内存和计算开销也会增长。泰坦尼克号例进一步展示对缺失字段的检查、类别编码及分类报告。船舱、年龄等变量的缺失程度不同,不能用同一条规则草率填补。

按原书小节查阅机制、案例与适用条件。

原书依据 · 6 处

第8章 朴素贝叶斯算法

贝叶斯定理解决观察到结果后如何反推假设的问题。先验表示看到证据前的权重,似然说明该假设能多好解释证据,最后以所有假设的总权重归一化。曲奇饼例把两只碗的先验分别乘出香草的概率,再得到观测香草后来自碗 A 的 0.6。低基率示例说明误报率与一个阳性结果的可信度使用不同分母。 拼写纠错先按编辑距离找到候选,再用语料词频排序。垃圾邮件分类把文本转成词频向量,按类别估计条件概率,用平滑防止罕见词导致概率为零。朴素贝叶斯近似把若干特征在给定类别后当作独立变量。连续鸢尾花尺寸与词频、词是否出现分别适合不同的条件分布假设。

按原书小节查阅机制、案例与适用条件。

原书依据 · 7 处

第9章 支持向量机SVM

支持向量机寻找能保留较宽间隔的分界。比较两条都能分开旧样本的直线时,最近点有更大余量的直线对小扰动更稳健。现实数据有离群点和重叠,软间隔允许部分点违反间隔约束,并以 C 控制惩罚。核方法让模型在特征空间使用线性分界,而原空间的边界可以弯曲。 房价案例用不同核做支持向量回归,图 9-12 记录预处理和改参数后的分数变化。鸢尾花例展示标签映射与二维分类区域。模型选择需要一起看尺度、核、C、验证结果及样本对计算成本。

按原书小节查阅机制、案例与适用条件。

原书依据 · 9 处

第10章 神经网络

一个神经元先对输入加权求和,再经过激活。若每层都只进行线性与偏置变换,多层的组合仍可写成单个同类变换。ReLU 等非线性激活扩大表达范围。多层感知器逐层变换展平后的像素,卷积网络保留二维邻近关系。图 10-8 用局部数字说明乘加,图 10-10 显示池化压缩响应图。 教材从手写单神经元开始,将前向输出与标签之差用于调整权重。库示例继续比较展平输入的全连接网络和保留高、宽、通道轴的卷积网络。二者最终都可为十个数字给出分数,并用 Softmax 形成一组总和为一的输出。教材截图里的准确率属于各自示例条件。

按原书小节查阅机制、案例与适用条件。

原书依据 · 12 处

第11章 人脸识别入门实践

人脸图像的处理链可拆为定位脸框、定位关键点、对齐和编码,最后比较定长向量。图 11-1 显示前置检测失败会阻断后续环节,图 11-2 显示关键点分布。核验将输入与候选模板比较,搜索要在多模板中找相似候选,还要支持未匹配结果。照明与姿态会改变输入,评估需分开量化检测、误拒和误接受。 案例用局部方向梯度做检测,再标出脸部关键点,也展示了视频帧上的处理。表情示例以嘴部和眼眉几何读出可见动作,动作不足以单独确定真实情绪。身份比对示例展示了编码和选择阈值的概念。嵌入距离的度量及阈值方向需要以使用的实现为依据。

按原书小节查阅机制、案例与适用条件。

原书依据 · 9 处

跨章综合

距离是最近邻、K 均值和径向基核的共同构件,但承担不同职责。最近邻使用距离找训练标签,K 均值使用距离分配中心,径向基核根据距离衰减形成相似性。因此尺度变化会影响三类模型,变换要用一致的训练统计量。

单棵树在每个节点追求标签更纯,森林再组合多棵有差异的树。与树相比,逻辑回归把所有特征压成一个线性分数,支持向量机从分界余量与违约代价入手,朴素贝叶斯把先验和类别内特征统计相乘。各模型背后的假设不同,只有在相同划分和指标下,分数才便于对照。

图像章节把前面的数据与指标原则带到多阶段系统中。输入格式、前置检测和识别阈值都会影响结果。准确率可概括整体表现,混淆矩阵和分阶段指标才有助于定位失败发生在哪一步。

发散与实践

读者延伸有两个计划。第一个用可手算的玩具样本观察单位变化如何改变近邻投票,第二个用固定的一批合成分类分数观察阈值如何改变误报与漏报。两项均为待执行的本地计划。

生成进度与管理记录

AI制胜:机器学习极简入门

作者:宋立桓

解析 Skill 版本:v24

执行模式:light

建档进度:done

信息浓度:高。PCA、划分纯度、概率更新、间隔与卷积机制分别有例子、推理或图表。

稳定性/时效性:高。基本原理可复用,旧版库调用、平台安装和教学得分依各自数据及版本。

四象限评级:经典原理

整书笔记:_book_note.md(schema 1,SHA-256 d28b3127e81a2fa5291ac602e7ec411f4be7c4586f187b4da42f647629088a73)

章节进度追踪表

章节号 章节标题 状态 卡片数
序一 推荐序一 done 0
序二 推荐序二 done 0
前言 前言 done 0
01 机器学习概述 done 18
02 机器学习中的数据预处理 done 10
03 k最近邻算法 done 8
04 回归算法 done 10
05 决策树 done 9
06 K-means聚类算法 done 9
07 随机森林 done 6
08 朴素贝叶斯算法 done 7
09 支持向量机SVM done 9
10 神经网络 done 12
11 人脸识别入门实践 done 9

非正文排除

spine项 类型 排除理由
01 titlepage.xhtml 封面 电子封壳及封面资源,无实质论述
02 cover.xhtml 封面 封面图片,无正文
03 titlepage1.xhtml 扉页 书名与出版信息
04 copyright.xhtml 版权页 提供第一版与 ISBN 等出版元数据
05 preface1.xhtml 作者简介 作者经历、肖像与著作介绍
06 preface2.xhtml 内容简介 预告章节、受众和所需基础,正文另行完整阅读
10 content.xhtml 目录 只用于比对顺序、标题及定位

待关联术语

术语名 出现章节 一句话语境
生成式对抗网络(GAN) 01 §1.5.1 数据扩充的例子,未讲生成机制
NLP 01 §1.3.4 深度学习的应用领域之一
拉格朗日乘子法 09 §9.2.2 SVM 推导的前置术语
对偶问题 09 §9.2.2 SVM 推导的前置术语
KKT 条件 09 §9.2.2 SVM 推导的前置术语

引用文献

| 标题 | 类型 | 出现章节 | 一句话语境 | | — | — | — | | PyTorch | 框架 | 01 §1.3.1;10 §10.5.1 | Python 深度学习生态的例子 | | AlphaGo | 项目 | 01 §1.3.4 | 自我对弈作为训练示例 | | 《计算慧星轨道的新方法》 | 书 | 04 §4.1.2 | 最小二乘的历史参考,照录原书标题 | | 《新时间简史》 | 书 | 08 §8.1 | 作者共同著作背景 | | 《醉汉的脚步》 | 书 | 08 §8.1 | 概率故事的出处 | | 《人工智能:现代方法》 | 书 | 08 §8.3 | 拼写纠错参考作者的背景 | | Peter Norvig 的拼写纠错文章 | 文章 | 08 §8.3 | 原书建议的延伸阅读 | | Theano、TensorFlow、Torch | 框架 | 10 §10.5.1 | Keras 的后端与设计背景 |

资金安全问题案例

问题标题 问题卡 解决方案卡(如有) 出现章节 一句话说明

实践卡进度

序号 实践标题 实践方式 状态 关联章节 产出
001 用单位变化检验近邻预测 真实任务 done 03 实践计划
002 用混淆矩阵复盘分类阈值 真实任务 done 01 实践计划

实践候选筛选:done

已合并尺度变化与距离排序。涉及实际授信、医疗判断和采集人脸的案例保留为阅读材料。本次实践选择可用合成数据立即开展的两个问题。

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

暂无公开主题。