此笔记位置已失效,请从目录继续阅读。
全书导读
《机器学习算法原理与编程实践》是郑捷于 2015 年出版的一本以 Python 为工具的机器学习入门书。它不像纯粹的数学教材那样从定理推演起步,也不像工具手册那样只罗列调用步骤,而是把”用代码把算法跑起来、看懂结果”当作理解算法的入口:几乎每一个原理,作者都先交代它要解决什么问题,再用一段可以运行的 Python 程序把它落地,最后用分类准确率、收敛曲线或可视化结果来检验。全书由 2011 年 IBM Watson 在 Jeopardy 上胜出引出话题,追问机器究竟怎样从数据里获得判断能力,然后沿着”基础工具 → 分类 → 决策树 → 推荐 → 优化 → 神经网络 → 预测 → 支持向量机 → 人脸识别 → 深度学习 → 概率图模型”的路径逐层展开。
阅读这本书要有两条心理准备。第一,它成书于 2015 年,代码基于 Python 2、NumPy、Scikit-Learn 的早期版本,深度学习部分使用 Theano,这些具体工具和 API 今天大多已经过时;真正耐久的是算法背后的机制、权衡与数学直觉,读时应把”怎么调用旧库”和”为什么这样设计”分开看待。第二,本书横跨统计、优化、线性代数、信息论乃至哲学思辨,跨度很大,但它始终围绕几个反复出现的核心动作:把对象表示为向量或矩阵、用距离或概率度量相似性、设定一个优化目标、用迭代逼近最优参数、再用数据评估效果。抓住这条主线,零散的算法就能连成一张网。
本笔记按原书 11 章加前言的顺序组织,每章先讲清这一章 introduced 了哪些概念、它们之间是什么关系,再链接到对应知识卡深入细节。读到具体卡片时,你会看到原书摘录与出处,可以随时回到这一段主线,确认自己没有在算法的细节里迷路。
全书主线
全书的主线可以概括为一句话:把现实对象变成可计算的数据,再用一个可优化的目标函数让程序自动从数据中学习规律,最后用留出的数据检验学到的规律是否有效。围绕这条主线,11 章各自承担一个环节。
第 1 章搭建整本书的地基:用 Python 和 NumPy 把对象表示成向量、把对象集合表示成矩阵,用矢量化替代循环;随后补齐理解算法必需的数学——各种距离度量、随机性、概率分布、期望方差协方差、矩阵作为空间变换、特征值与特征向量、数据归一化。没有这一章,后面所有算法都只是黑箱调用。
第 2 到 4 章进入具体的学习任务。第 2 章用中文文本分类走通一个完整流程:分词、向量空间模型、TF-IDF 权重,再比较朴素贝叶斯与 kNN 两种分类器,并引入准确率、召回率等评估口径。第 3 章讲决策树,从”if-then 逐层划分”的朴素思想出发,用信息熵和信息增益决定分裂特征,依次实现 ID3、C4.5,再过渡到回归树、模型树与剪枝。第 4 章转向推荐系统,用协同过滤的两种基本假设引出 User CF 与 Item CF,用 KMeans 聚类做用户分群,用 SVD 做降维与评分预测。
第 5 章把前三章隐含的”学习”讲透:它其实就是最优化。从最优化理论、凸集凸函数、局部与全局最优、计算复杂性,到 Logistic 梯度下降和随机梯度下降,作者把”训练一个分类器”还原成”沿梯度方向逐步逼近最优参数”的过程,并讨论步长、收敛与震荡。
第 6、8、10 章是几条并行的模型路线。第 6 章从神经网络简史讲到 BP 网络的误差反传训练,再到自组织特征映射 SOM 和基于模拟退火的 Boltzmann 机。第 8 章讲支持向量机,从经验风险、VC 维、结构风险最小出发,经拉格朗日乘子、KKT 条件、对偶变换、核函数与松弛变量完成数学推导,再落到 SMO 算法与文本分类。第 10 章进入深度学习,从认知层次论和 Theano 的计算图讲起,经 Softmax 回归、正则化、多层感知器,到卷积神经网络 LeNet-5,最后讨论 GPU 运算。三者处理的问题相近——都是非线性分类器——但路径不同:神经网络靠多层参数与反传,SVM 靠最大间隔与核技巧,深度学习靠层次化特征与大规模计算。
第 7、9、11 章把方法落到具体领域并向外延伸。第 7 章讲预测:最小二乘与正规方程组、径向基网络、岭回归处理多重共线性,最后用相当篇幅讨论预测背后的哲学——周期三意味着混沌、Logistic 映射的吸引子。第 9 章是人脸识别的完整工程:模式识别与 OpenCV、Haar 与 LBP 级联检测、AdaBoost 的训练与投票、PCA 特征脸识别。第 11 章以概率图模型收尾,从马尔科夫链、贝叶斯网的条件独立与推理,到隐马尔科夫模型的前向与 Viterbi 算法,最终落到词性标注系统。
把这几条线合起来看,全书其实在反复回答同一个问题的不同侧面:面对一类数据,如何选表示、定目标、做优化、防过拟合、评效果。理解了这个框架,具体到某一章某项技术,就只是这个框架在不同对象上的实例化。
前言
前言回答三件事:为什么机器学习值得学、本书怎么讲、全书讲什么,由“降低门槛、贯通思想”串起。
动机从人机对抗写起。2011年 Jeopardy 上,IBM 的 Watson 击败两位人类选手,被称作开放领域问答系统的里程碑;这说明在广泛知识智能领域机器能全面超越人类,核心正是机器学习。此后深度学习突破抽象概念瓶颈,CNN、DNN 在视觉、语音和自然语言上成功,与 Map Reduce 并称大数据基石(见Watson胜出与机器学习崛起)。
接着追问“机器能否思考”。图灵测试把它变成可操作判定:超过30%的人在5分钟内分辨不出对方是人还是机器,即认为机器有智能。前言的落点是,“思考”的基础被归结为并行计算(硬件)与数据学习(算法),Watson 的硬件规模与知识图谱的数据规模正是这两条腿(见图灵测试:机器思考的判据与基础)。
怎么讲由读者决定:从源码入门的工程人员,用文字解释、源码公式对照、矢量编程三管齐下;从数学入门的科研人员,用丰富代码补实践短板,再加本土作者背景相近的优势(见降低门槛:两条路径与三管齐下)。
讲什么收束为三条主线:神经网络—SVM—深度学习、贝叶斯—贝叶斯网—HMM、矩阵降维—SVD—PCA。本书以思想发展过程为纲,算法只是主线上的明珠,目的是让读者融会贯通(见全书三条主线贯穿机器学习)。
第1章 机器学习的基础
本章以矩阵为中心。选 Python 因免费开源、跨平台、算法库完整,NumPy、SciPy、Matplotlib、Scikit-Learn 按序安装即可覆盖数值计算到可视化(见Python开发环境与算法库);矢量化编程把公式写成一两行代码(见矢量化编程与NumPy矩阵)。事物是行向量形式的对象,文本经词袋转为词向量,同特征对象集合即矩阵(见对象:带特征的行向量、矩阵:同特征对象集合)。范数量定向量大小,闵可夫斯基距离族用参数 p 统一三种距离,夹角余弦处理方向差异(见范数与Lp范数、闵可夫斯基距离族)。随机性无法靠增加样本消除,概率论由此登场:贝叶斯公式用先验与似然算后验(见贝叶斯公式:由果推因),联合与边缘分布描述多特征概率关系,期望、方差与相关系数量化中心、波动与关联(见联合分布与边缘分布、期望、方差与相关系数)。空间视角是难点:基底张成空间,矩阵乘法即换基底的变换,特征向量只伸缩不旋转(见矩阵乘法的空间变换本质、特征值与特征向量);归一化消除量纲差异(见数据归一化与标准化欧氏距离)。工程部分讲数据读入、持久化、大文件读取与可视化(见数据导入、持久化与大文件读取),最后隔离部署多版本 Python(见多版本Python隔离部署)。
本章其余要点:词袋模型与文本向量化、夹角余弦、汉明与杰卡德、随机性、混沌与蝴蝶效应、概率论的基础概念、马氏距离:量纲无关、向量、基底与张成空间、表、树、图的数据结构可视化。
原书依据 · 21 处
- 第1章 机器学习的基础 · 查看原书依据
- 第1章 机器学习的基础 · 查看原书依据
- 第1章 机器学习的基础 · 查看原书依据
- 第1章 机器学习的基础 · 查看原书依据
- 第1章 机器学习的基础 · 查看原书依据
- 第1章 机器学习的基础 · 查看原书依据
- 第1章 机器学习的基础 · 查看原书依据
- 第1章 机器学习的基础 · 查看原书依据
- 第1章 机器学习的基础 · 查看原书依据
- 第1章 机器学习的基础 · 查看原书依据
- 第1章 机器学习的基础 · 查看原书依据
- 第1章 机器学习的基础 · 查看原书依据
- 第1章 机器学习的基础 · 查看原书依据
- 第1章 机器学习的基础 · 查看原书依据
- 第1章 机器学习的基础 · 查看原书依据
- 第1章 机器学习的基础 · 查看原书依据
- 第1章 机器学习的基础 · 查看原书依据
- 第1章 机器学习的基础 · 查看原书依据
- 第1章 机器学习的基础 · 查看原书依据
- 第1章 机器学习的基础 · 查看原书依据
- 第1章 机器学习的基础 · 查看原书依据
第2章 中文文本分类
本章把一个中文文本分类项目从原始文本讲到类别标签,主线是文本怎样变成可计算的向量、再用什么算法定类。
先立概念。文本挖掘从非结构化文本中抽取未知且可用知识,涵盖检索、聚类、分类、信息抽取等七个方向,文本分类是应用最广的核心技术(见文本挖掘的定义与七大领域)。分类要为每个文档找到所属类别,须先定类别、再收集带类别的训练集(见文本分类的任务与训练数据);实现有编码专家规则的模式系统与从样例归纳的机器学习两条路,数据增长使后者成为主流(见规则系统与机器学习两条路径)。项目被组织成六步流程(见中文文本分类六步流程),以预处理开路(见文本预处理与语料准备)。
再讲中文特有环节。英文靠空格分词,中文只有字句段有边界,分词是后续一切表示的基础(见中文分词:字序列切成词序列);词的界定模糊,最终交给概率论与条件随机场(见词的界定难题),分词进而支撑向量空间、主题模型、句法树、RDF 图四类表示(见文本结构化表示四大类)。工程上用 jieba 三种模式切词(见jieba分词的三种模式),算法模块交给 Scikit-Learn(见Scikit-Learn概览)。
再讲表示与加权。向量空间模型把每个不同字符串当成一维,用停用词剔除无区分力的常用词(见向量空间模型与停用词);权重从二元、整型计数演进到词频,再乘逆文档频率形成 TF-IDF(见从词频到TF-IDF权重)。
最后两种分类器。朴素贝叶斯以特征独立假设为前提(见朴素贝叶斯的特征独立假设),按五阶段训练预测(见朴素贝叶斯分类五阶段),可手写实现(见朴素贝叶斯的实现框架)并以 TF-IDF 改进(见TF-IDF改进朴素贝叶斯);kNN 靠 k 个近邻多数票定类(见kNN近邻投票原理),含实现与评估(见kNN的实现与评估)。取舍见三种分类算法的取舍,好坏由召回率、准确率与 F1 衡量(见分类结果评估指标)。
原书依据 · 20 处
- 第2章 中文文本分类 · 查看原书依据
- 第2章 中文文本分类 · 查看原书依据
- 第2章 中文文本分类 · 查看原书依据
- 第2章 中文文本分类 · 查看原书依据
- 第2章 中文文本分类 · 查看原书依据
- 第2章 中文文本分类 · 查看原书依据
- 第2章 中文文本分类 · 查看原书依据
- 第2章 中文文本分类 · 查看原书依据
- 第2章 中文文本分类 · 查看原书依据
- 第2章 中文文本分类 · 查看原书依据
- 第2章 中文文本分类 · 查看原书依据
- 第2章 中文文本分类 · 查看原书依据
- 第2章 中文文本分类 · 查看原书依据
- 第2章 中文文本分类 · 查看原书依据
- 第2章 中文文本分类 · 查看原书依据
- 第2章 中文文本分类 · 查看原书依据
- 第2章 中文文本分类 · 查看原书依据
- 第2章 中文文本分类 · 查看原书依据
- 第2章 中文文本分类 · 查看原书依据
- 第2章 中文文本分类 · 查看原书依据
第3章 决策树的发展
决策树把判断写成树:内部检验特征,叶子给结论,根到叶即一次决策。全章围绕“切哪一列、何时停”。
决策树基本思想:if-then逐层划分 用销售表演示逐层划分;决策树算法框架:四部件递归生长 拆出四部件递归框架。信息熵:不确定性的对数测度 把熵定义为不确定性测度,越均匀熵越大;信息增益:用熵降挑选划分特征 用熵差选列。
分类线:ID3手工生成:逐列算增益选根 逐列算增益、选年龄为根;ID3的实现:ID3DTree核心方法 用类封装训练;用pickle持久化决策树 存树复用;决策树分类:递归遍历到叶子 递归查表分类。ID3的局限:多值偏好与过拟合 指出多值偏好与过拟合;C4.5的信息增益率:纠正多值偏好 以增益率除以 SplitInfo 纠偏。
回归线:CART回归树:最小剩余方差划分 以最小剩余方差选划分,模型树:分段线性与局部模式 把叶子设为线性模型,回归树最优划分点:二分与终止 遍历取值找划分点、tolS 与 tolN 提前停。剪枝策略:先剪枝与后剪枝 与 悲观剪枝:误判率与剪枝标准 讲两类剪枝。最后 Scikit-Learn决策树回归实践 用 DecisionTreeRegressor 配 max_depth 拟合正弦数据。
原书依据 · 16 处
- 第3章 决策树的发展 · 查看原书依据
- 第3章 决策树的发展 · 查看原书依据
- 第3章 决策树的发展 · 查看原书依据
- 第3章 决策树的发展 · 查看原书依据
- 第3章 决策树的发展 · 查看原书依据
- 第3章 决策树的发展 · 查看原书依据
- 第3章 决策树的发展 · 查看原书依据
- 第3章 决策树的发展 · 查看原书依据
- 第3章 决策树的发展 · 查看原书依据
- 第3章 决策树的发展 · 查看原书依据
- 第3章 决策树的发展 · 查看原书依据
- 第3章 决策树的发展 · 查看原书依据
- 第3章 决策树的发展 · 查看原书依据
- 第3章 决策树的发展 · 查看原书依据
- 第3章 决策树的发展 · 查看原书依据
- 第3章 决策树的发展 · 查看原书依据
第4章 推荐系统原理
本章把推荐系统当作“数据—算法—交付”链路:它弥补关键词搜索之短,据消费行为发掘潜在兴趣,见推荐系统的定义与商业价值。系统分数据、算法、结果三段,见推荐系统的三段式架构;偏好分显式与隐式,见显式反馈与隐式反馈;四类机制按相似度来源区分,见四类推荐机制的比较;部署因密集计算与代码保护弃脚本语言,见算法部署为何弃用脚本语言。
协同过滤基于“喜相似之物与相似之人所喜”两假设,见协同过滤的两个基本假设,分化为 User CF 与 Item CF,见基于用户的协同过滤、基于物品的协同过滤;两者均先减噪归一化、聚类降量,见数据预处理:减噪与归一化。KMeans 以距离迭代赋值、重算质心,见KMeans:排他划分与迭代重定位、KMeans实现:距离、质心与迭代;但须预设 k、敏感于离群点、常陷局部最优,见KMeans的局限与适用条件;二分 KMeans 改按最大误差平方和优先分裂,见二分KMeans:按误差平方和分裂。
SVD 将矩阵分解为 UΣVᵀ并截断近似,见SVD:任意矩阵的奇异值分解;把新用户投影到低维算余弦,见SVD降维与新用户坐标映射;用四类距离函数比较,见四种相似度距离函数;封装为 recommand 主函数评估,见SVD推荐主函数与评估。
原书依据 · 17 处
- 第4章 推荐系统原理 · 查看原书依据
- 第4章 推荐系统原理 · 查看原书依据
- 第4章 推荐系统原理 · 查看原书依据
- 第4章 推荐系统原理 · 查看原书依据
- 第4章 推荐系统原理 · 查看原书依据
- 第4章 推荐系统原理 · 查看原书依据
- 第4章 推荐系统原理 · 查看原书依据
- 第4章 推荐系统原理 · 查看原书依据
- 第4章 推荐系统原理 · 查看原书依据
- 第4章 推荐系统原理 · 查看原书依据
- 第4章 推荐系统原理 · 查看原书依据
- 第4章 推荐系统原理 · 查看原书依据
- 第4章 推荐系统原理 · 查看原书依据
- 第4章 推荐系统原理 · 查看原书依据
- 第4章 推荐系统原理 · 查看原书依据
- 第4章 推荐系统原理 · 查看原书依据
- 第4章 推荐系统原理 · 查看原书依据
第5章 梯度寻优
本章把求最优变成可计算问题,用梯度下降求解,再以随机与动态步长改进。
最优化理论源于多元与非线性,靠三大基础支撑,需建模、推导与算法设计能力(见最优化理论的三大基础与三种能力);求f(x)极值的模型按线性与否分四类规划。凸集与分离定理把分类化为找分隔超平面(见凸集与分离定理),凸函数局部最优即全局最优(见凸函数与全局最优)。目标多极小值时算法只得满意解,故优先用凸函数(如Logistic)(见局部最优与全局最优)。复杂度以多项式/指数时间划界,P类确定、NP类非确定,NP完全无多项式算法,非确定性未必最优(见计算复杂性与NP问题)。大型方程组用逐次逼近,以误差收敛判定解(见逐次逼近法与收敛)。
梯度增长最快、负梯度下降最快,沿其迭代即梯度下降(见梯度下降的方向与步长)。线性分类器以f(x)=wᵀx+b用hardlim训练(见线性分类器与感知器);因无过渡易震荡,改用(0,1)Logistic,几率对数恰为梯度且目标凸(见Logistic函数的选择)。训练分五步(见Logistic梯度算法流程)。评估见斜率稳而截距未稳(见超平面收敛评估)。随机梯度下降用随机抽样与动态步长,alpha双重变化致震荡,但权重约200次收敛,远快于500次仍未最优的梯度下降(见随机梯度下降的收敛效率)。
本章其余要点:最优化问题的数学模型、确定性与非确定性算法、随机梯度下降的动态步长、步长变化率与双重震荡。
第6章 神经网络初步
本章讲神经网络如何从模仿生物神经元出发,发展出分类、聚类与组合优化三类算法,是 SVM 与深度学习的铺垫。
把神经元抽象成可计算的连接就有了网络:MP 模型给出形式化描述(见MP模型:神经元的二值开关形式化),感知器是首个实用模型却因异或陷入低潮(见感知器模型与第一次低潮),并在深度学习时代走向成熟与硬件化(见深度学习时代与神经网络反思)。
主线 BP:线性不可分需 n 元 m 次分隔曲面(见线性不可分:分隔曲面是n元m次方程),三层结构加误差反传解决(见BP网络的三层结构与误差反传),按正向、误差、反向三阶段循环(见BP训练三阶段:正向、误差、反向),链式法则回传更新权值(见输出层与隐含层的梯度反传);动量因子抑制震荡(见动量因子:加权前后梯度抑制震荡),仍受设计复杂、收敛慢、易陷局部最优三大局限(见BP网络的三大局限)。
另两类:SOM 无须预设类别数即可自动聚类(见SOM:无须预设类别数的无监督聚类),靠获胜节点与优胜邻域迭代(见SOM聚类:获胜节点与优胜邻域);Boltzmann 机从 TSP 组合爆炸出发(见TSP:组合爆炸的排列寻优),借退火跳出局部极小(见模拟退火:从金属退火到全局寻优),用玻耳兹曼因子与温度控制探索(见Boltzmann因子与温度T的作用),经降温搜出最短路径(见Boltzmann机的最短路径搜索)。
本章其余要点:神经网络学习的四个特征、隐含层节点数的取舍、模拟退火的降温策略。
原书依据 · 18 处
- 第6章 神经网络初步 · 查看原书依据
- 第6章 神经网络初步 · 查看原书依据
- 第6章 神经网络初步 · 查看原书依据
- 第6章 神经网络初步 · 查看原书依据
- 第6章 神经网络初步 · 查看原书依据
- 第6章 神经网络初步 · 查看原书依据
- 第6章 神经网络初步 · 查看原书依据
- 第6章 神经网络初步 · 查看原书依据
- 第6章 神经网络初步 · 查看原书依据
- 第6章 神经网络初步 · 查看原书依据
- 第6章 神经网络初步 · 查看原书依据
- 第6章 神经网络初步 · 查看原书依据
- 第6章 神经网络初步 · 查看原书依据
- 第6章 神经网络初步 · 查看原书依据
- 第6章 神经网络初步 · 查看原书依据
- 第6章 神经网络初步 · 查看原书依据
- 第6章 神经网络初步 · 查看原书依据
- 第6章 神经网络初步 · 查看原书依据
第7章 预测的技术与哲学
本章由技术讲到哲学:前者用样本拟合规律,后者追问系统演化的规律本身。技术线从回归起步:高尔顿的身高观察揭示“向平均数回归”,把回归确立为去除噪声、发现整体规律的预测基础(见向平均数回归:回归的统计起源)。最小二乘以“残差平方和最小”求极值解出回归直线(见最小二乘:让残差平方和最小);正规方程组把它改写成矩阵方程求解(见正规方程组:回归的矩阵解),两者共用代码与相关系数评估(见线性回归代码与相关系数评估)。非线性数据靠多项式与泰勒展开提供“弯曲”思路(见RBF:任意精度的非线性拟合函数),RBF 网络把高斯函数放进隐含层、输出层仍用最小二乘,兼顾拟合与速度(见RBF网络:三层结构与学习速度、RBF预测代码:局部加权最小二乘)。多重共线性使 XT X 接近奇异时,岭回归给矩阵加 kI,以有偏估计换稳定,并用岭迹与 k 值判定选参(见多重共线性:最小二乘的失效边界、岭回归:给XT X加上kI、岭迹分析与k值判定、岭回归实现:迭代k与最优参数)。哲学线拉到宏观:“周”“易”把预测定义为揭示运动方式及规律(见周与易:预测就是揭示运动规律),太极二叉树展开为两仪、四象、八卦,描述系统的生命周期与状态迁移(见太极:系统生命周期与二叉树、阴阳的状态符号与乘法法则、两仪生四象:平衡与二体)。转折是混沌:二体简单重复无法解释演化,“周期三意味着混沌”表明确定系统中也有内在随机性(见周期三意味着混沌)。Logistic 映射随 k 从不动点、周期吸引子走向混沌吸引子(见Logistic映射:从稳定到混沌吸引子),其分岔图被读作“道生一、一生二、三生万物”的成长史(见三生万物:系统的成长周期),八卦正是日月地三体运动的符号化推演(见八卦:三体运动的符号化推演)。技术给工具,哲学给图景,共同回答预测。
原书依据 · 19 处
- 第7章 预测的技术与哲学 · 查看原书依据
- 第7章 预测的技术与哲学 · 查看原书依据
- 第7章 预测的技术与哲学 · 查看原书依据
- 第7章 预测的技术与哲学 · 查看原书依据
- 第7章 预测的技术与哲学 · 查看原书依据
- 第7章 预测的技术与哲学 · 查看原书依据
- 第7章 预测的技术与哲学 · 查看原书依据
- 第7章 预测的技术与哲学 · 查看原书依据
- 第7章 预测的技术与哲学 · 查看原书依据
- 第7章 预测的技术与哲学 · 查看原书依据
- 第7章 预测的技术与哲学 · 查看原书依据
- 第7章 预测的技术与哲学 · 查看原书依据
- 第7章 预测的技术与哲学 · 查看原书依据
- 第7章 预测的技术与哲学 · 查看原书依据
- 第7章 预测的技术与哲学 · 查看原书依据
- 第7章 预测的技术与哲学 · 查看原书依据
- 第7章 预测的技术与哲学 · 查看原书依据
- 第7章 预测的技术与哲学 · 查看原书依据
- 第7章 预测的技术与哲学 · 查看原书依据
第8章 万能分类器——支持向量机
本章只讲一个算法,却铺开从理论到实现的链条。
理论回答训练集小误差能否代表真实风险。经验风险最小化把训练误差当目标,但样本代表性与理论不完备致过拟合,见经验风险最小化与过拟合;学习一致性给出判据,关键定理把它化为两类风险最小化函数的一致收敛,见学习一致性中的经验与真实风险;最坏情形由 VC 维的打散能力度量,见VC维与打散;结构风险最小原则以经验风险加置信区间界定真实风险,在精度与复杂度间折中,见结构风险最小原则。
SVM 把准则落实为超平面:最大间隔超平面使经验风险最小、置信区间最小,见最大间隔超平面;拉格朗日乘子法把最大化改为最小化 ½‖w‖²,见拉格朗日乘子法,KKT 条件与对偶变换把求 w、b 转为求 λ,见KKT条件与对偶变换,分类器写成依赖支持向量的内积形式,见SVM分类器函数;线性不可分时借 VC 维映射高维,见映射高维处理线性不可分,核函数在低维算内积避开维度爆炸,见核函数法,对离群点加松弛变量与软间隔,见松弛变量与软间隔;求 λ 的 SMO 每次成对优化两个变量,见SMO成对优化,由主、内循环扫描收敛,见SMO的主循环与内循环。最后用线性 SVM 做中文文本分类,见中文文本分类流程,以 LinearSVC 训练评估,见线性SVM文本分类。
原书依据 · 15 处
- 第8章 万能分类器——支持向量机 · 查看原书依据
- 第8章 万能分类器——支持向量机 · 查看原书依据
- 第8章 万能分类器——支持向量机 · 查看原书依据
- 第8章 万能分类器——支持向量机 · 查看原书依据
- 第8章 万能分类器——支持向量机 · 查看原书依据
- 第8章 万能分类器——支持向量机 · 查看原书依据
- 第8章 万能分类器——支持向量机 · 查看原书依据
- 第8章 万能分类器——支持向量机 · 查看原书依据
- 第8章 万能分类器——支持向量机 · 查看原书依据
- 第8章 万能分类器——支持向量机 · 查看原书依据
- 第8章 万能分类器——支持向量机 · 查看原书依据
- 第8章 万能分类器——支持向量机 · 查看原书依据
- 第8章 万能分类器——支持向量机 · 查看原书依据
- 第8章 万能分类器——支持向量机 · 查看原书依据
- 第8章 万能分类器——支持向量机 · 查看原书依据
第9章 人脸识别中的机器学习
本章把一个完整的工程实例拆成识别什么、怎么检测、用什么算法、怎么认人四段。开头把人脸识别定位为模式识别的应用:认知是感官对外界信息的感知加工,具体认知分强度、感觉、模式、转换、事件五层(见具体认知的五个层次);人能从不同角度认出同一张桌子,靠的是把图像分解成特征再空间重组,而非简单匹配,这正是模式识别(见模式识别:分解特征再重构)。支撑它的机器视觉用机器代替人眼,OpenCV 作为开源视觉库承担算法实现,图像以 PGM 灰度格式存储(见机器视觉与OpenCV库、PGM灰度文件格式)。
检测部分先给出系统全貌:六个模块里人脸检测与识别策略是核心,本章只讲这两块(见人脸识别系统六模块架构)。技术史从特征与模板之争走到光照锥与 3D 模型,最终由 AdaBoost 实时检测改变格局(见人脸识别技术的三阶段演进)。检测的本质是预处理式模板匹配:靠通用人脸结构判断有没有脸,再用级联逐轮排除非人脸区域求快(见人脸检测的模板匹配与级联排除);具体特征用 Haar 的明暗矩形或 LBP 的局部纹理,前者用 x−2y 比值扫描(见Haar矩形特征及其计算),后者把级联规则写进 XML,由 256 位 LUT 和阈值比较决定每层通过(见LBP级联文件的结构与判定)。两种级联共享 detectMultiScale 接口,换 XML 即可切换(见级联分类器检测人脸)。
AdaBoost 是两级复合算法:主算法调权、底层二分类算法常用单层决策树找弱分类器,弱分类器加权投票成强分类器(见AdaBoost的两层结构与思想、单层决策树挑选最优阈值)。每轮分对降权、分错升权,权重组成 D 向量,alpha 由误差算出并决定发言权,直到零误差或达到迭代数(见AdaBoost训练流程与权值更新、alpha权重与弱分类器投票)。预测时按 alpha 累加再取符号,用 ROC 评估(见AdaBoost分类执行与ROC评估)。
识别部分改用特征脸:把人脸映射到低维空间,PCA 找最大方差轴且不需要标签,LDA 再拉开类间距离(见特征脸方法与PCA/LDA、PCA降维与主成分提取)。Eigenfaces 类把求均值、投影、距离度量封装起来(见Eigenfaces类投影与距离度量),按类别可生成平均脸作为代表(见按类别生成平均脸),最终用最近邻距离输出身份(见最近邻判别与识别输出)。
原书依据 · 20 处
- 第9章 人脸识别中的机器学习 · 查看原书依据
- 第9章 人脸识别中的机器学习 · 查看原书依据
- 第9章 人脸识别中的机器学习 · 查看原书依据
- 第9章 人脸识别中的机器学习 · 查看原书依据
- 第9章 人脸识别中的机器学习 · 查看原书依据
- 第9章 人脸识别中的机器学习 · 查看原书依据
- 第9章 人脸识别中的机器学习 · 查看原书依据
- 第9章 人脸识别中的机器学习 · 查看原书依据
- 第9章 人脸识别中的机器学习 · 查看原书依据
- 第9章 人脸识别中的机器学习 · 查看原书依据
- 第9章 人脸识别中的机器学习 · 查看原书依据
- 第9章 人脸识别中的机器学习 · 查看原书依据
- 第9章 人脸识别中的机器学习 · 查看原书依据
- 第9章 人脸识别中的机器学习 · 查看原书依据
- 第9章 人脸识别中的机器学习 · 查看原书依据
- 第9章 人脸识别中的机器学习 · 查看原书依据
- 第9章 人脸识别中的机器学习 · 查看原书依据
- 第9章 人脸识别中的机器学习 · 查看原书依据
- 第9章 人脸识别中的机器学习 · 查看原书依据
- 第9章 人脸识别中的机器学习 · 查看原书依据
第10章 认知计算与深度学习
本章以认知分层理论作深度学习的生物学引子,再落到三类算法与一个工程配置问题。认知层次论在感知低级五层之上补出六个高级层次:关系与范畴把对象从具象拉向抽象(见从关系到范畴:认知走向抽象),序列、程序、原理、系统引入时间次序、决策迭代与规律沉淀(见从序列到系统:认知的逐级攀升)。支撑攀升的是抽象与迭代两大机制,视觉皮层从V1边缘到整体目标的分级处理即为例证(见抽象与迭代:认知的两大核心机制);Hinton据此用多层堆叠与逐层初始化开启深度学习,它是一套算法框架而非单一算法(见深度学习:多层堆叠与逐层初始化)。
工程上Theano以Python前端、C调Cuda后端实现符号定义与编译执行两段式(见Theano的符号定义与编译执行两段式),并用共享变量绕开CPU与GPU间反复复制数据的开销(见共享变量绕开GPU数据传输开销)。
多层感知器从Softmax多分类起步(见Softmax回归:多分类的线性分类器),以负对数似然为损失(见负对数似然:多分类的损失函数),用提前终止和L1/L2正则化对抗过拟合(见提前终止:用验证集防止过拟合、L1/L2正则化:拟合与泛化的折中);在Logistic前加非线性隐含层即成MLP,多隐层才是深度学习前提(见多层感知器:隐含层与非线性变换),权重须按激活函数从对称区间初始化(见权重初始化:按激活函数选对称区间),实现由HiddenLayer与MLP两类组合(见MLP的实现:两层类组合)。
卷积神经网络借用视觉感受野(见视觉皮层启发与感受野),以稀疏连接和共享权重利用局部相关(见稀疏连接与共享权重),用最大池下采样并获平移不变(见最大池:非线性下采样与平移不变性),权重写成4维张量(见卷积的符号表示与4D张量);LeNet把卷积池层接全连接层(见LeNet结构:卷积池交替接全连接),由卷积类封装dimshuffle(见卷积池化类与维度变换),最终以四层构成可训练的LeNet5(见LeNet5四层网络的构建)。配置部分:Anaconda借MinGW解决跨平台编译(见Anaconda与MinGW编译),GPU运算依赖VS2013与CUDA(见GPU依赖VS2013与CUDA),实测GPU比CPU快约20倍(见CPU与GPU运算的性能验证与差距)。
原书依据 · 23 处
- 第10章 认知计算与深度学习 · 查看原书依据
- 第10章 认知计算与深度学习 · 查看原书依据
- 第10章 认知计算与深度学习 · 查看原书依据
- 第10章 认知计算与深度学习 · 查看原书依据
- 第10章 认知计算与深度学习 · 查看原书依据
- 第10章 认知计算与深度学习 · 查看原书依据
- 第10章 认知计算与深度学习 · 查看原书依据
- 第10章 认知计算与深度学习 · 查看原书依据
- 第10章 认知计算与深度学习 · 查看原书依据
- 第10章 认知计算与深度学习 · 查看原书依据
- 第10章 认知计算与深度学习 · 查看原书依据
- 第10章 认知计算与深度学习 · 查看原书依据
- 第10章 认知计算与深度学习 · 查看原书依据
- 第10章 认知计算与深度学习 · 查看原书依据
- 第10章 认知计算与深度学习 · 查看原书依据
- 第10章 认知计算与深度学习 · 查看原书依据
- 第10章 认知计算与深度学习 · 查看原书依据
- 第10章 认知计算与深度学习 · 查看原书依据
- 第10章 认知计算与深度学习 · 查看原书依据
- 第10章 认知计算与深度学习 · 查看原书依据
- 第10章 认知计算与深度学习 · 查看原书依据
- 第10章 认知计算与深度学习 · 查看原书依据
- 第10章 认知计算与深度学习 · 查看原书依据
第11章 概率图模型与词性标注
本章讲的是如何用图与概率处理不确定性推理,主线是从可观察的随机过程走向不可见的隐状态,再落到自然语言处理中的词性标注。
先讲概念是什么。随机过程用状态图表达:状态、转移、约束三要素把系统画成一张带概率的图,并可用状态转移矩阵记录现态到次态的概率(见状态图三要素与状态转移矩阵)。当系统下一步只依赖当前状态、与更早历史无关时,就具备马尔科夫性与无后效性(见马尔科夫性与无后效性);把这条性质写成条件概率等式并规定状态时间都离散,就是马尔科夫链与一步转移概率(见马尔科夫链的转移概率与定义)。由 C-K 方程,n 步转移完全由一步决定,齐次链还可写成矩阵乘方(见C-K方程与n步转移概率),天气预报例子用 A10=A^10 算出第 10 天的晴天概率约 0.778,并显示长期分布收敛(见天气预报的马尔科夫链矩阵实现)。
再看这些概念如何关联。图与概率结合成概率图模型,分表示、推理、学习三大理论,节点是随机变量、弧是条件独立假设,有向图即贝叶斯网(见概率图模型的表示、推理与学习)。联合分布参数随变量数指数增长,靠独立与条件独立性把它因式分解,参数从 31 降到 10(见条件独立性与联合分布分解);据此构造出定性结构加定量分布的贝叶斯网(见贝叶斯网的定性结构与定量分布)。顺连、分连、汇连三种连接决定信息通道是否阻塞,汇连还产生得释现象(见贝叶斯网的三种连接模式与得释);推理则分后验概率、MAP 与 MPE 三类(见贝叶斯网推理的三大问题)。
再往深处,隐马尔科夫模型给马尔科夫链加一层看不见的状态:它是双重随机过程,用五元组 (S,O,Ⅱ,A,B) 与三个基本假设描述(见HMM的双重随机过程与五元组、HMM的三个基本假设)。给定观测序列,前向算法逐时刻求和算状态概率,但计算量随规模灾难性增长(见前向算法逐时刻计算状态概率);Viterbi 算法改取最大前驱,用 δ(i,t) 表示部分最优路径并回溯出全局最优(见Viterbi算法的部分最优路径),其递推实现与手工计算一致(见Viterbi算法的递推实现)。
最后落到应用。词性标注把词性当隐状态、词当观测,词性表、词典词频与转移矩阵构成完整 HMM(见词性标注的HMM建模与数据资源);对例句手工取最大局部概率算出词性序列,再用结巴分词验证一致(见词性标注的手工计算与验证)。全章从随机过程出发,以概率图模型和贝叶斯网搭建推理框架,用 HMM 完成序列标注,理论与应用层层递进。
原书依据 · 17 处
- 第11章 概率图模型与词性标注 · 查看原书依据
- 第11章 概率图模型与词性标注 · 查看原书依据
- 第11章 概率图模型与词性标注 · 查看原书依据
- 第11章 概率图模型与词性标注 · 查看原书依据
- 第11章 概率图模型与词性标注 · 查看原书依据
- 第11章 概率图模型与词性标注 · 查看原书依据
- 第11章 概率图模型与词性标注 · 查看原书依据
- 第11章 概率图模型与词性标注 · 查看原书依据
- 第11章 概率图模型与词性标注 · 查看原书依据
- 第11章 概率图模型与词性标注 · 查看原书依据
- 第11章 概率图模型与词性标注 · 查看原书依据
- 第11章 概率图模型与词性标注 · 查看原书依据
- 第11章 概率图模型与词性标注 · 查看原书依据
- 第11章 概率图模型与词性标注 · 查看原书依据
- 第11章 概率图模型与词性标注 · 查看原书依据
- 第11章 概率图模型与词性标注 · 查看原书依据
- 第11章 概率图模型与词性标注 · 查看原书依据
跨章综合
把 11 章放在一起,能看出几组跨越章节的联系,这些联系往往比单章的知识点更能解释”为什么本书这样编排”。
表示方式的演进贯穿全书。第 1 章的向量与矩阵是所有数据的通用语言;第 2 章把它具体化为文本的向量空间与 TF-IDF 权重;第 9 章把图像变成 Haar 矩形特征或 PCA 主成分;第 11 章则用概率图结构表达变量间的依赖。对象越来越复杂,但”先找到一种合适的数值表示”这一步始终不变。
相似性度量在不同章节反复出现。第 1 章的欧氏距离、夹角余弦、汉明与杰卡德距离,在第 2 章决定 kNN 如何投票、在第 4 章决定 KMeans 如何归类、在第 8 章演化成核函数在高维空间里的内积、在第 9 章变成特征脸之间的距离判别。同一种”远近”的直觉,被换上了不同的数学外衣。
优化是贯穿始终的暗线。第 5 章把优化单独拎出来讲清梯度下降与随机梯度下降,此后第 6 章的 BP 误差反传、第 8 章 SMO 的成对优化、第 10 章 Softmax 与 MLP 的训练、第 7 章的最小二乘与岭回归,本质上都在最小化某个目标函数。读懂第 5 章,后面几章的训练过程会显得熟悉。
过拟合与正则化是另一个反复出现的主题。第 3 章的剪枝、第 5 章对收敛与震荡的讨论、第 7 章用岭回归对抗多重共线性、第 8 章用结构风险最小和松弛变量控制间隔、第 10 章的 L1/L2 正则与提前终止,都是在”拟合训练数据”和”保持泛化能力”之间找平衡。
评估口径从局部走向系统。第 2、3 章关注分类准确率,第 4 章引入推荐场景的评估,第 5 章用收敛曲线看算法稳定性,第 9 章用 ROC 评估检测器,第 10 章用验证集防止过拟合。它们共同说明:一个算法是否可用,不由它在训练集上的表现决定。
从”怎么算”到”为什么成立”的张力在本书里很有特色。多数章节止步于工程实现,但第 5 章的 NP 问题、第 7 章的混沌与哲学、第 8 章的统计学习理论,都在追问算法背后的认识论边界。这提醒读者:机器学习不只是调参与跑代码,它还在回答”预测何以可能”“模型什么时候可信”这类更根本的问题。把这些跨章联系看清,这本书就从 11 个独立的算法专题,变成一张彼此呼应的知识网络。
发散与实践
这一部分是把本书知识用到现实中的入口,属于读者延伸与后续计划,不代表作者主张,也不表示这些实践已经执行。书中多数章节以”给出算法并用 Python 跑通”为落点,因此最贴合的实践路径是选取一个自己关心的真实数据集,把某章的完整流程复现一遍,再与书中结论对照。建议优先从两张卡开始:一张是把第 2 章中文文本分类流程迁移到自己手头语料的真实任务,另一张是按第 3 章 ID3/C4.5 的原理从零实现一棵决策树的实现深读。具体行动、产出与复盘判据见 ideas/ 目录下的实践卡。需要提醒的是,本书代码基于 Python 2 与旧版库,今天动手时应先在新版本环境里重建等价流程,把版本差异本身当作一次有价值的观察。