来源书籍

机器学习算法原理与编程实践

Skill 版本:v24 206 张卡片

刘宇 等著 · 电子工业出版社 · 2015-10-01

全书导读

《机器学习算法原理与编程实践》是郑捷于 2015 年出版的一本以 Python 为工具的机器学习入门书。它不像纯粹的数学教材那样从定理推演起步,也不像工具手册那样只罗列调用步骤,而是把”用代码把算法跑起来、看懂结果”当作理解算法的入口:几乎每一个原理,作者都先交代它要解决什么问题,再用一段可以运行的 Python 程序把它落地,最后用分类准确率、收敛曲线或可视化结果来检验。全书由 2011 年 IBM Watson 在 Jeopardy 上胜出引出话题,追问机器究竟怎样从数据里获得判断能力,然后沿着”基础工具 → 分类 → 决策树 → 推荐 → 优化 → 神经网络 → 预测 → 支持向量机 → 人脸识别 → 深度学习 → 概率图模型”的路径逐层展开。

阅读这本书要有两条心理准备。第一,它成书于 2015 年,代码基于 Python 2、NumPy、Scikit-Learn 的早期版本,深度学习部分使用 Theano,这些具体工具和 API 今天大多已经过时;真正耐久的是算法背后的机制、权衡与数学直觉,读时应把”怎么调用旧库”和”为什么这样设计”分开看待。第二,本书横跨统计、优化、线性代数、信息论乃至哲学思辨,跨度很大,但它始终围绕几个反复出现的核心动作:把对象表示为向量或矩阵、用距离或概率度量相似性、设定一个优化目标、用迭代逼近最优参数、再用数据评估效果。抓住这条主线,零散的算法就能连成一张网。

本笔记按原书 11 章加前言的顺序组织,每章先讲清这一章 introduced 了哪些概念、它们之间是什么关系,再链接到对应知识卡深入细节。读到具体卡片时,你会看到原书摘录与出处,可以随时回到这一段主线,确认自己没有在算法的细节里迷路。

全书主线

全书的主线可以概括为一句话:把现实对象变成可计算的数据,再用一个可优化的目标函数让程序自动从数据中学习规律,最后用留出的数据检验学到的规律是否有效。围绕这条主线,11 章各自承担一个环节。

第 1 章搭建整本书的地基:用 Python 和 NumPy 把对象表示成向量、把对象集合表示成矩阵,用矢量化替代循环;随后补齐理解算法必需的数学——各种距离度量、随机性、概率分布、期望方差协方差、矩阵作为空间变换、特征值与特征向量、数据归一化。没有这一章,后面所有算法都只是黑箱调用。

第 2 到 4 章进入具体的学习任务。第 2 章用中文文本分类走通一个完整流程:分词、向量空间模型、TF-IDF 权重,再比较朴素贝叶斯与 kNN 两种分类器,并引入准确率、召回率等评估口径。第 3 章讲决策树,从”if-then 逐层划分”的朴素思想出发,用信息熵和信息增益决定分裂特征,依次实现 ID3、C4.5,再过渡到回归树、模型树与剪枝。第 4 章转向推荐系统,用协同过滤的两种基本假设引出 User CF 与 Item CF,用 KMeans 聚类做用户分群,用 SVD 做降维与评分预测。

第 5 章把前三章隐含的”学习”讲透:它其实就是最优化。从最优化理论、凸集凸函数、局部与全局最优、计算复杂性,到 Logistic 梯度下降和随机梯度下降,作者把”训练一个分类器”还原成”沿梯度方向逐步逼近最优参数”的过程,并讨论步长、收敛与震荡。

第 6、8、10 章是几条并行的模型路线。第 6 章从神经网络简史讲到 BP 网络的误差反传训练,再到自组织特征映射 SOM 和基于模拟退火的 Boltzmann 机。第 8 章讲支持向量机,从经验风险、VC 维、结构风险最小出发,经拉格朗日乘子、KKT 条件、对偶变换、核函数与松弛变量完成数学推导,再落到 SMO 算法与文本分类。第 10 章进入深度学习,从认知层次论和 Theano 的计算图讲起,经 Softmax 回归、正则化、多层感知器,到卷积神经网络 LeNet-5,最后讨论 GPU 运算。三者处理的问题相近——都是非线性分类器——但路径不同:神经网络靠多层参数与反传,SVM 靠最大间隔与核技巧,深度学习靠层次化特征与大规模计算。

第 7、9、11 章把方法落到具体领域并向外延伸。第 7 章讲预测:最小二乘与正规方程组、径向基网络、岭回归处理多重共线性,最后用相当篇幅讨论预测背后的哲学——周期三意味着混沌、Logistic 映射的吸引子。第 9 章是人脸识别的完整工程:模式识别与 OpenCV、Haar 与 LBP 级联检测、AdaBoost 的训练与投票、PCA 特征脸识别。第 11 章以概率图模型收尾,从马尔科夫链、贝叶斯网的条件独立与推理,到隐马尔科夫模型的前向与 Viterbi 算法,最终落到词性标注系统。

把这几条线合起来看,全书其实在反复回答同一个问题的不同侧面:面对一类数据,如何选表示、定目标、做优化、防过拟合、评效果。理解了这个框架,具体到某一章某项技术,就只是这个框架在不同对象上的实例化。

前言

前言回答三件事:为什么机器学习值得学、本书怎么讲、全书讲什么,由“降低门槛、贯通思想”串起。

动机从人机对抗写起。2011年 Jeopardy 上,IBM 的 Watson 击败两位人类选手,被称作开放领域问答系统的里程碑;这说明在广泛知识智能领域机器能全面超越人类,核心正是机器学习。此后深度学习突破抽象概念瓶颈,CNN、DNN 在视觉、语音和自然语言上成功,与 Map Reduce 并称大数据基石(见Watson胜出与机器学习崛起)。

接着追问“机器能否思考”。图灵测试把它变成可操作判定:超过30%的人在5分钟内分辨不出对方是人还是机器,即认为机器有智能。前言的落点是,“思考”的基础被归结为并行计算(硬件)与数据学习(算法),Watson 的硬件规模与知识图谱的数据规模正是这两条腿(见图灵测试:机器思考的判据与基础)。

怎么讲由读者决定:从源码入门的工程人员,用文字解释、源码公式对照、矢量编程三管齐下;从数学入门的科研人员,用丰富代码补实践短板,再加本土作者背景相近的优势(见降低门槛:两条路径与三管齐下)。

讲什么收束为三条主线:神经网络—SVM—深度学习、贝叶斯—贝叶斯网—HMM、矩阵降维—SVD—PCA。本书以思想发展过程为纲,算法只是主线上的明珠,目的是让读者融会贯通(见全书三条主线贯穿机器学习)。

原书依据 · 4 处

第1章 机器学习的基础

本章以矩阵为中心。选 Python 因免费开源、跨平台、算法库完整,NumPy、SciPy、Matplotlib、Scikit-Learn 按序安装即可覆盖数值计算到可视化(见Python开发环境与算法库);矢量化编程把公式写成一两行代码(见矢量化编程与NumPy矩阵)。事物是行向量形式的对象,文本经词袋转为词向量,同特征对象集合即矩阵(见对象:带特征的行向量、矩阵:同特征对象集合)。范数量定向量大小,闵可夫斯基距离族用参数 p 统一三种距离,夹角余弦处理方向差异(见范数与Lp范数、闵可夫斯基距离族)。随机性无法靠增加样本消除,概率论由此登场:贝叶斯公式用先验与似然算后验(见贝叶斯公式:由果推因),联合与边缘分布描述多特征概率关系,期望、方差与相关系数量化中心、波动与关联(见联合分布与边缘分布、期望、方差与相关系数)。空间视角是难点:基底张成空间,矩阵乘法即换基底的变换,特征向量只伸缩不旋转(见矩阵乘法的空间变换本质、特征值与特征向量);归一化消除量纲差异(见数据归一化与标准化欧氏距离)。工程部分讲数据读入、持久化、大文件读取与可视化(见数据导入、持久化与大文件读取),最后隔离部署多版本 Python(见多版本Python隔离部署)。

本章其余要点:词袋模型与文本向量化、夹角余弦、汉明与杰卡德、随机性、混沌与蝴蝶效应、概率论的基础概念、马氏距离:量纲无关、向量、基底与张成空间、表、树、图的数据结构可视化。

原书依据 · 21 处

第2章 中文文本分类

本章把一个中文文本分类项目从原始文本讲到类别标签,主线是文本怎样变成可计算的向量、再用什么算法定类。

先立概念。文本挖掘从非结构化文本中抽取未知且可用知识,涵盖检索、聚类、分类、信息抽取等七个方向,文本分类是应用最广的核心技术(见文本挖掘的定义与七大领域)。分类要为每个文档找到所属类别,须先定类别、再收集带类别的训练集(见文本分类的任务与训练数据);实现有编码专家规则的模式系统与从样例归纳的机器学习两条路,数据增长使后者成为主流(见规则系统与机器学习两条路径)。项目被组织成六步流程(见中文文本分类六步流程),以预处理开路(见文本预处理与语料准备)。

再讲中文特有环节。英文靠空格分词,中文只有字句段有边界,分词是后续一切表示的基础(见中文分词:字序列切成词序列);词的界定模糊,最终交给概率论与条件随机场(见词的界定难题),分词进而支撑向量空间、主题模型、句法树、RDF 图四类表示(见文本结构化表示四大类)。工程上用 jieba 三种模式切词(见jieba分词的三种模式),算法模块交给 Scikit-Learn(见Scikit-Learn概览)。

再讲表示与加权。向量空间模型把每个不同字符串当成一维,用停用词剔除无区分力的常用词(见向量空间模型与停用词);权重从二元、整型计数演进到词频,再乘逆文档频率形成 TF-IDF(见从词频到TF-IDF权重)。

最后两种分类器。朴素贝叶斯以特征独立假设为前提(见朴素贝叶斯的特征独立假设),按五阶段训练预测(见朴素贝叶斯分类五阶段),可手写实现(见朴素贝叶斯的实现框架)并以 TF-IDF 改进(见TF-IDF改进朴素贝叶斯);kNN 靠 k 个近邻多数票定类(见kNN近邻投票原理),含实现与评估(见kNN的实现与评估)。取舍见三种分类算法的取舍,好坏由召回率、准确率与 F1 衡量(见分类结果评估指标)。

原书依据 · 20 处

第3章 决策树的发展

决策树把判断写成树:内部检验特征,叶子给结论,根到叶即一次决策。全章围绕“切哪一列、何时停”。

决策树基本思想:if-then逐层划分 用销售表演示逐层划分;决策树算法框架:四部件递归生长 拆出四部件递归框架。信息熵:不确定性的对数测度 把熵定义为不确定性测度,越均匀熵越大;信息增益:用熵降挑选划分特征 用熵差选列。

分类线:ID3手工生成:逐列算增益选根 逐列算增益、选年龄为根;ID3的实现:ID3DTree核心方法 用类封装训练;用pickle持久化决策树 存树复用;决策树分类:递归遍历到叶子 递归查表分类。ID3的局限:多值偏好与过拟合 指出多值偏好与过拟合;C4.5的信息增益率:纠正多值偏好 以增益率除以 SplitInfo 纠偏。

回归线:CART回归树:最小剩余方差划分 以最小剩余方差选划分,模型树:分段线性与局部模式 把叶子设为线性模型,回归树最优划分点:二分与终止 遍历取值找划分点、tolS 与 tolN 提前停。剪枝策略:先剪枝与后剪枝 与 悲观剪枝:误判率与剪枝标准 讲两类剪枝。最后 Scikit-Learn决策树回归实践 用 DecisionTreeRegressor 配 max_depth 拟合正弦数据。

原书依据 · 16 处

第4章 推荐系统原理

本章把推荐系统当作“数据—算法—交付”链路:它弥补关键词搜索之短,据消费行为发掘潜在兴趣,见推荐系统的定义与商业价值。系统分数据、算法、结果三段,见推荐系统的三段式架构;偏好分显式与隐式,见显式反馈与隐式反馈;四类机制按相似度来源区分,见四类推荐机制的比较;部署因密集计算与代码保护弃脚本语言,见算法部署为何弃用脚本语言。

协同过滤基于“喜相似之物与相似之人所喜”两假设,见协同过滤的两个基本假设,分化为 User CF 与 Item CF,见基于用户的协同过滤、基于物品的协同过滤;两者均先减噪归一化、聚类降量,见数据预处理:减噪与归一化。KMeans 以距离迭代赋值、重算质心,见KMeans:排他划分与迭代重定位、KMeans实现:距离、质心与迭代;但须预设 k、敏感于离群点、常陷局部最优,见KMeans的局限与适用条件;二分 KMeans 改按最大误差平方和优先分裂,见二分KMeans:按误差平方和分裂。

SVD 将矩阵分解为 UΣVᵀ并截断近似,见SVD:任意矩阵的奇异值分解;把新用户投影到低维算余弦,见SVD降维与新用户坐标映射;用四类距离函数比较,见四种相似度距离函数;封装为 recommand 主函数评估,见SVD推荐主函数与评估。

原书依据 · 17 处

第5章 梯度寻优

本章把求最优变成可计算问题,用梯度下降求解,再以随机与动态步长改进。

最优化理论源于多元与非线性,靠三大基础支撑,需建模、推导与算法设计能力(见最优化理论的三大基础与三种能力);求f(x)极值的模型按线性与否分四类规划。凸集与分离定理把分类化为找分隔超平面(见凸集与分离定理),凸函数局部最优即全局最优(见凸函数与全局最优)。目标多极小值时算法只得满意解,故优先用凸函数(如Logistic)(见局部最优与全局最优)。复杂度以多项式/指数时间划界,P类确定、NP类非确定,NP完全无多项式算法,非确定性未必最优(见计算复杂性与NP问题)。大型方程组用逐次逼近,以误差收敛判定解(见逐次逼近法与收敛)。

梯度增长最快、负梯度下降最快,沿其迭代即梯度下降(见梯度下降的方向与步长)。线性分类器以f(x)=wᵀx+b用hardlim训练(见线性分类器与感知器);因无过渡易震荡,改用(0,1)Logistic,几率对数恰为梯度且目标凸(见Logistic函数的选择)。训练分五步(见Logistic梯度算法流程)。评估见斜率稳而截距未稳(见超平面收敛评估)。随机梯度下降用随机抽样与动态步长,alpha双重变化致震荡,但权重约200次收敛,远快于500次仍未最优的梯度下降(见随机梯度下降的收敛效率)。

本章其余要点:最优化问题的数学模型、确定性与非确定性算法、随机梯度下降的动态步长、步长变化率与双重震荡。

原书依据 · 16 处

第6章 神经网络初步

本章讲神经网络如何从模仿生物神经元出发,发展出分类、聚类与组合优化三类算法,是 SVM 与深度学习的铺垫。

把神经元抽象成可计算的连接就有了网络:MP 模型给出形式化描述(见MP模型:神经元的二值开关形式化),感知器是首个实用模型却因异或陷入低潮(见感知器模型与第一次低潮),并在深度学习时代走向成熟与硬件化(见深度学习时代与神经网络反思)。

主线 BP:线性不可分需 n 元 m 次分隔曲面(见线性不可分:分隔曲面是n元m次方程),三层结构加误差反传解决(见BP网络的三层结构与误差反传),按正向、误差、反向三阶段循环(见BP训练三阶段:正向、误差、反向),链式法则回传更新权值(见输出层与隐含层的梯度反传);动量因子抑制震荡(见动量因子:加权前后梯度抑制震荡),仍受设计复杂、收敛慢、易陷局部最优三大局限(见BP网络的三大局限)。

另两类:SOM 无须预设类别数即可自动聚类(见SOM:无须预设类别数的无监督聚类),靠获胜节点与优胜邻域迭代(见SOM聚类:获胜节点与优胜邻域);Boltzmann 机从 TSP 组合爆炸出发(见TSP:组合爆炸的排列寻优),借退火跳出局部极小(见模拟退火:从金属退火到全局寻优),用玻耳兹曼因子与温度控制探索(见Boltzmann因子与温度T的作用),经降温搜出最短路径(见Boltzmann机的最短路径搜索)。

本章其余要点:神经网络学习的四个特征、隐含层节点数的取舍、模拟退火的降温策略。

原书依据 · 18 处

第7章 预测的技术与哲学

本章由技术讲到哲学:前者用样本拟合规律,后者追问系统演化的规律本身。技术线从回归起步:高尔顿的身高观察揭示“向平均数回归”,把回归确立为去除噪声、发现整体规律的预测基础(见向平均数回归:回归的统计起源)。最小二乘以“残差平方和最小”求极值解出回归直线(见最小二乘:让残差平方和最小);正规方程组把它改写成矩阵方程求解(见正规方程组:回归的矩阵解),两者共用代码与相关系数评估(见线性回归代码与相关系数评估)。非线性数据靠多项式与泰勒展开提供“弯曲”思路(见RBF:任意精度的非线性拟合函数),RBF 网络把高斯函数放进隐含层、输出层仍用最小二乘,兼顾拟合与速度(见RBF网络:三层结构与学习速度、RBF预测代码:局部加权最小二乘)。多重共线性使 XT X 接近奇异时,岭回归给矩阵加 kI,以有偏估计换稳定,并用岭迹与 k 值判定选参(见多重共线性:最小二乘的失效边界、岭回归:给XT X加上kI、岭迹分析与k值判定、岭回归实现:迭代k与最优参数)。哲学线拉到宏观:“周”“易”把预测定义为揭示运动方式及规律(见周与易:预测就是揭示运动规律),太极二叉树展开为两仪、四象、八卦,描述系统的生命周期与状态迁移(见太极:系统生命周期与二叉树、阴阳的状态符号与乘法法则、两仪生四象:平衡与二体)。转折是混沌:二体简单重复无法解释演化,“周期三意味着混沌”表明确定系统中也有内在随机性(见周期三意味着混沌)。Logistic 映射随 k 从不动点、周期吸引子走向混沌吸引子(见Logistic映射:从稳定到混沌吸引子),其分岔图被读作“道生一、一生二、三生万物”的成长史(见三生万物:系统的成长周期),八卦正是日月地三体运动的符号化推演(见八卦:三体运动的符号化推演)。技术给工具,哲学给图景,共同回答预测。

原书依据 · 19 处

第8章 万能分类器——支持向量机

本章只讲一个算法,却铺开从理论到实现的链条。

理论回答训练集小误差能否代表真实风险。经验风险最小化把训练误差当目标,但样本代表性与理论不完备致过拟合,见经验风险最小化与过拟合;学习一致性给出判据,关键定理把它化为两类风险最小化函数的一致收敛,见学习一致性中的经验与真实风险;最坏情形由 VC 维的打散能力度量,见VC维与打散;结构风险最小原则以经验风险加置信区间界定真实风险,在精度与复杂度间折中,见结构风险最小原则。

SVM 把准则落实为超平面:最大间隔超平面使经验风险最小、置信区间最小,见最大间隔超平面;拉格朗日乘子法把最大化改为最小化 ½‖w‖²,见拉格朗日乘子法,KKT 条件与对偶变换把求 w、b 转为求 λ,见KKT条件与对偶变换,分类器写成依赖支持向量的内积形式,见SVM分类器函数;线性不可分时借 VC 维映射高维,见映射高维处理线性不可分,核函数在低维算内积避开维度爆炸,见核函数法,对离群点加松弛变量与软间隔,见松弛变量与软间隔;求 λ 的 SMO 每次成对优化两个变量,见SMO成对优化,由主、内循环扫描收敛,见SMO的主循环与内循环。最后用线性 SVM 做中文文本分类,见中文文本分类流程,以 LinearSVC 训练评估,见线性SVM文本分类。

原书依据 · 15 处

第9章 人脸识别中的机器学习

本章把一个完整的工程实例拆成识别什么、怎么检测、用什么算法、怎么认人四段。开头把人脸识别定位为模式识别的应用:认知是感官对外界信息的感知加工,具体认知分强度、感觉、模式、转换、事件五层(见具体认知的五个层次);人能从不同角度认出同一张桌子,靠的是把图像分解成特征再空间重组,而非简单匹配,这正是模式识别(见模式识别:分解特征再重构)。支撑它的机器视觉用机器代替人眼,OpenCV 作为开源视觉库承担算法实现,图像以 PGM 灰度格式存储(见机器视觉与OpenCV库、PGM灰度文件格式)。

检测部分先给出系统全貌:六个模块里人脸检测与识别策略是核心,本章只讲这两块(见人脸识别系统六模块架构)。技术史从特征与模板之争走到光照锥与 3D 模型,最终由 AdaBoost 实时检测改变格局(见人脸识别技术的三阶段演进)。检测的本质是预处理式模板匹配:靠通用人脸结构判断有没有脸,再用级联逐轮排除非人脸区域求快(见人脸检测的模板匹配与级联排除);具体特征用 Haar 的明暗矩形或 LBP 的局部纹理,前者用 x−2y 比值扫描(见Haar矩形特征及其计算),后者把级联规则写进 XML,由 256 位 LUT 和阈值比较决定每层通过(见LBP级联文件的结构与判定)。两种级联共享 detectMultiScale 接口,换 XML 即可切换(见级联分类器检测人脸)。

AdaBoost 是两级复合算法:主算法调权、底层二分类算法常用单层决策树找弱分类器,弱分类器加权投票成强分类器(见AdaBoost的两层结构与思想、单层决策树挑选最优阈值)。每轮分对降权、分错升权,权重组成 D 向量,alpha 由误差算出并决定发言权,直到零误差或达到迭代数(见AdaBoost训练流程与权值更新、alpha权重与弱分类器投票)。预测时按 alpha 累加再取符号,用 ROC 评估(见AdaBoost分类执行与ROC评估)。

识别部分改用特征脸:把人脸映射到低维空间,PCA 找最大方差轴且不需要标签,LDA 再拉开类间距离(见特征脸方法与PCA/LDA、PCA降维与主成分提取)。Eigenfaces 类把求均值、投影、距离度量封装起来(见Eigenfaces类投影与距离度量),按类别可生成平均脸作为代表(见按类别生成平均脸),最终用最近邻距离输出身份(见最近邻判别与识别输出)。

原书依据 · 20 处

第10章 认知计算与深度学习

本章以认知分层理论作深度学习的生物学引子,再落到三类算法与一个工程配置问题。认知层次论在感知低级五层之上补出六个高级层次:关系与范畴把对象从具象拉向抽象(见从关系到范畴:认知走向抽象),序列、程序、原理、系统引入时间次序、决策迭代与规律沉淀(见从序列到系统:认知的逐级攀升)。支撑攀升的是抽象与迭代两大机制,视觉皮层从V1边缘到整体目标的分级处理即为例证(见抽象与迭代:认知的两大核心机制);Hinton据此用多层堆叠与逐层初始化开启深度学习,它是一套算法框架而非单一算法(见深度学习:多层堆叠与逐层初始化)。

工程上Theano以Python前端、C调Cuda后端实现符号定义与编译执行两段式(见Theano的符号定义与编译执行两段式),并用共享变量绕开CPU与GPU间反复复制数据的开销(见共享变量绕开GPU数据传输开销)。

多层感知器从Softmax多分类起步(见Softmax回归:多分类的线性分类器),以负对数似然为损失(见负对数似然:多分类的损失函数),用提前终止和L1/L2正则化对抗过拟合(见提前终止:用验证集防止过拟合、L1/L2正则化:拟合与泛化的折中);在Logistic前加非线性隐含层即成MLP,多隐层才是深度学习前提(见多层感知器:隐含层与非线性变换),权重须按激活函数从对称区间初始化(见权重初始化:按激活函数选对称区间),实现由HiddenLayer与MLP两类组合(见MLP的实现:两层类组合)。

卷积神经网络借用视觉感受野(见视觉皮层启发与感受野),以稀疏连接和共享权重利用局部相关(见稀疏连接与共享权重),用最大池下采样并获平移不变(见最大池:非线性下采样与平移不变性),权重写成4维张量(见卷积的符号表示与4D张量);LeNet把卷积池层接全连接层(见LeNet结构:卷积池交替接全连接),由卷积类封装dimshuffle(见卷积池化类与维度变换),最终以四层构成可训练的LeNet5(见LeNet5四层网络的构建)。配置部分:Anaconda借MinGW解决跨平台编译(见Anaconda与MinGW编译),GPU运算依赖VS2013与CUDA(见GPU依赖VS2013与CUDA),实测GPU比CPU快约20倍(见CPU与GPU运算的性能验证与差距)。

原书依据 · 23 处

第11章 概率图模型与词性标注

本章讲的是如何用图与概率处理不确定性推理,主线是从可观察的随机过程走向不可见的隐状态,再落到自然语言处理中的词性标注。

先讲概念是什么。随机过程用状态图表达:状态、转移、约束三要素把系统画成一张带概率的图,并可用状态转移矩阵记录现态到次态的概率(见状态图三要素与状态转移矩阵)。当系统下一步只依赖当前状态、与更早历史无关时,就具备马尔科夫性与无后效性(见马尔科夫性与无后效性);把这条性质写成条件概率等式并规定状态时间都离散,就是马尔科夫链与一步转移概率(见马尔科夫链的转移概率与定义)。由 C-K 方程,n 步转移完全由一步决定,齐次链还可写成矩阵乘方(见C-K方程与n步转移概率),天气预报例子用 A10=A^10 算出第 10 天的晴天概率约 0.778,并显示长期分布收敛(见天气预报的马尔科夫链矩阵实现)。

再看这些概念如何关联。图与概率结合成概率图模型,分表示、推理、学习三大理论,节点是随机变量、弧是条件独立假设,有向图即贝叶斯网(见概率图模型的表示、推理与学习)。联合分布参数随变量数指数增长,靠独立与条件独立性把它因式分解,参数从 31 降到 10(见条件独立性与联合分布分解);据此构造出定性结构加定量分布的贝叶斯网(见贝叶斯网的定性结构与定量分布)。顺连、分连、汇连三种连接决定信息通道是否阻塞,汇连还产生得释现象(见贝叶斯网的三种连接模式与得释);推理则分后验概率、MAP 与 MPE 三类(见贝叶斯网推理的三大问题)。

再往深处,隐马尔科夫模型给马尔科夫链加一层看不见的状态:它是双重随机过程,用五元组 (S,O,Ⅱ,A,B) 与三个基本假设描述(见HMM的双重随机过程与五元组、HMM的三个基本假设)。给定观测序列,前向算法逐时刻求和算状态概率,但计算量随规模灾难性增长(见前向算法逐时刻计算状态概率);Viterbi 算法改取最大前驱,用 δ(i,t) 表示部分最优路径并回溯出全局最优(见Viterbi算法的部分最优路径),其递推实现与手工计算一致(见Viterbi算法的递推实现)。

最后落到应用。词性标注把词性当隐状态、词当观测,词性表、词典词频与转移矩阵构成完整 HMM(见词性标注的HMM建模与数据资源);对例句手工取最大局部概率算出词性序列,再用结巴分词验证一致(见词性标注的手工计算与验证)。全章从随机过程出发,以概率图模型和贝叶斯网搭建推理框架,用 HMM 完成序列标注,理论与应用层层递进。

原书依据 · 17 处

跨章综合

把 11 章放在一起,能看出几组跨越章节的联系,这些联系往往比单章的知识点更能解释”为什么本书这样编排”。

表示方式的演进贯穿全书。第 1 章的向量与矩阵是所有数据的通用语言;第 2 章把它具体化为文本的向量空间与 TF-IDF 权重;第 9 章把图像变成 Haar 矩形特征或 PCA 主成分;第 11 章则用概率图结构表达变量间的依赖。对象越来越复杂,但”先找到一种合适的数值表示”这一步始终不变。

相似性度量在不同章节反复出现。第 1 章的欧氏距离、夹角余弦、汉明与杰卡德距离,在第 2 章决定 kNN 如何投票、在第 4 章决定 KMeans 如何归类、在第 8 章演化成核函数在高维空间里的内积、在第 9 章变成特征脸之间的距离判别。同一种”远近”的直觉,被换上了不同的数学外衣。

优化是贯穿始终的暗线。第 5 章把优化单独拎出来讲清梯度下降与随机梯度下降,此后第 6 章的 BP 误差反传、第 8 章 SMO 的成对优化、第 10 章 Softmax 与 MLP 的训练、第 7 章的最小二乘与岭回归,本质上都在最小化某个目标函数。读懂第 5 章,后面几章的训练过程会显得熟悉。

过拟合与正则化是另一个反复出现的主题。第 3 章的剪枝、第 5 章对收敛与震荡的讨论、第 7 章用岭回归对抗多重共线性、第 8 章用结构风险最小和松弛变量控制间隔、第 10 章的 L1/L2 正则与提前终止,都是在”拟合训练数据”和”保持泛化能力”之间找平衡。

评估口径从局部走向系统。第 2、3 章关注分类准确率,第 4 章引入推荐场景的评估,第 5 章用收敛曲线看算法稳定性,第 9 章用 ROC 评估检测器,第 10 章用验证集防止过拟合。它们共同说明:一个算法是否可用,不由它在训练集上的表现决定。

从”怎么算”到”为什么成立”的张力在本书里很有特色。多数章节止步于工程实现,但第 5 章的 NP 问题、第 7 章的混沌与哲学、第 8 章的统计学习理论,都在追问算法背后的认识论边界。这提醒读者:机器学习不只是调参与跑代码,它还在回答”预测何以可能”“模型什么时候可信”这类更根本的问题。把这些跨章联系看清,这本书就从 11 个独立的算法专题,变成一张彼此呼应的知识网络。

发散与实践

这一部分是把本书知识用到现实中的入口,属于读者延伸与后续计划,不代表作者主张,也不表示这些实践已经执行。书中多数章节以”给出算法并用 Python 跑通”为落点,因此最贴合的实践路径是选取一个自己关心的真实数据集,把某章的完整流程复现一遍,再与书中结论对照。建议优先从两张卡开始:一张是把第 2 章中文文本分类流程迁移到自己手头语料的真实任务,另一张是按第 3 章 ID3/C4.5 的原理从零实现一棵决策树的实现深读。具体行动、产出与复盘判据见 ideas/ 目录下的实践卡。需要提醒的是,本书代码基于 Python 2 与旧版库,今天动手时应先在新版本环境里重建等价流程,把版本差异本身当作一次有价值的观察。

生成进度与管理记录

机器学习算法原理与编程实践

作者:郑捷 出版社:电子工业出版社 出版日期:2015-10-01 建档进度:done 执行模式:light 首次生成 Skill 版本:v24 本次执行 Skill 版本:v24 本次执行工作流:book-workflow v4(light,阶段 3 记 skipped)

评级

信息浓度:高。全书以”算法机制 + 可运行代码 + 结果评估”三位一体展开,重点解释为什么这样设计、方案如何权衡、边界在哪里,不只是罗列 API 或操作步骤。

稳定性:中。算法原理(梯度下降、信息增益、最大间隔、贝叶斯推理、PCA、马尔科夫链等)耐久性强;但示例代码基于 Python 2、早期 NumPy/Scikit-Learn 与 Theano,具体工具与 API 已过时,使用时需核对当前版本。综合评级为经典原理为主、工程实现细节为辅。

四象限定位:偏”经典原理”(高浓度、原理高稳定),工具实现部分时效性较低。

主形态:概念解析型,兼有操作手册特征(每章配可运行代码)。按主形态默认不单列”内容形态”字段。

评级理由:书中对决策树分裂准则、SVM 的对偶与核技巧、梯度下降收敛、岭回归对抗共线性、AdaBoost 权值更新、HMM 前向/Viterbi 等都有机制层面的解释与取舍分析,符合高浓度;这些数学机制不随库版本变化,符合原理高稳定,故归为经典原理。第 10 章的 Theano/CUDA 安装等属低稳定工程细节,仅作辅助。

全书主线与大纲

本书完整阅读笔记(全书导读、主线、11 章逐章讲解、跨章综合、发散与实践)见 _book_note.md。

章节进度追踪表

章节号 章节标题 状态 卡片数
00 前言 done 4
01 第1章 机器学习的基础 done 21
02 第2章 中文文本分类 done 20
03 第3章 决策树的发展 done 16
04 第4章 推荐系统原理 done 17
05 第5章 梯度寻优 done 16
06 第6章 神经网络初步 done 18
07 第7章 预测的技术与哲学 done 19
08 第8章 万能分类器——支持向量机 done 15
09 第9章 人脸识别中的机器学习 done 20
10 第10章 认知计算与深度学习 done 23
11 第11章 概率图模型与词性标注 done 17

合计 206 张知识卡(普通 166 / 结构图 24 / 操作参考 15 / 延伸参考 1)。

非正文排除

spine项 类型 排除理由
text00000.html 空白页 无正文内容
text00001.html 目录 仅为 Contents 目录
text00002.html 版权页 CIP 与版权声明,无实质正文
text00003.html 内容简介 出版简介,非正文章节
text00005/08/11/14/17/20/23/26/29/32/35.html 章扉页 仅含章号与标题,正文标题词,无实质内容

待关联术语

(无仅提名未展开、需要单独追踪的技术名词。)

引用文献

标题 类型 出现章节 一句话语境
Theano 框架 第10章 用于符号定义与编译执行的深度学习计算库,正文有实质介绍并已成卡
Scikit-Learn 框架 第1/2/3/4/8章 各章分类与聚类实现所用库,正文有实质讲解

资金安全问题案例

(本书为机器学习算法书,无转账/扣款/余额/库存等资金安全场景案例。)

实践卡进度

序号 实践标题 实践方式 状态 关联章节 产出
001 文本分类流程迁移到真实语料 真实任务 done 第2章 ideas/idea-001-文本分类流程迁移.md(计划交付)
002 决策树从零实现深读 实现深读 done 第3章 ideas/idea-002-决策树从零实现.md(计划交付)
003 三类非线性分类器横向比较 横向学习 done 第6/8/10章 ideas/idea-003-非线性分类器横向比较.md(计划交付)

实践候选筛选:done。已按知识点选定 3 张,均为计划交付、未实际执行;未采用的候选(如第5章优化实验、第7章预测哲学决策实践)因与已选卡片目标重叠或缺少可立即启动的低风险对象而舍去。

覆盖与来源

逐章正文源路径、版本哈希、单元脉络与候选去向见 _coverage.md。原始输入 SHA-256 70d8d79af4c27e857a132f2bb0cf0dbfa14854fa17c13eacb72320d7c9bf315d,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292。

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

暂无公开主题。