此笔记位置已失效,请从目录继续阅读。
全书导读
这本书把”数据挖掘”和”统计机器学习”当作同一件事的两种叫法来处理:给定一批观测数据,选一个带参数的模型去描述它,再用一套评价办法判断这个描述能推广到没见过的数据上。它的立场偏统计学——先问模型凭什么成立、误差从哪里来、结论在什么假定下才站得住,而不是先摆一堆算法名字。因此全书的骨架不是”算法目录”,而是一条从建模到评价的循环:定义问题、写模型、估参数、防过拟合、评价与选择、再回到问题。
作者在前言里交代了写作动机:大数据让数据规模和变量维度同时膨胀,传统统计方法直接套用会失效,而机器学习提供了大量可用的工具,但工程视角的教材往往跳过”为什么这样估计”的推导。这本书想补的正是中间那一段——用统计学的语言解释机器学习的每一个动作,并给每章配一个 R 语言上机实践,让方法落到数据上能被验证。
这本书适合谁:有基本概率统计与线性代数基础、需要把机器学习方法真正用对的人;也适合已会调包、但说不清”为什么这样选模型、误差估计为什么不可信”的读者。数学推导集中在带星号的小节(如 2.3 的 Lasso 求解与理论性质、4.2 的理论方法),第一遍可以跳过,但不影响主线。
结构安排:第 1 章建立共同语言(有监督/无监督、归纳式方法、数据智慧)。第 2–3 章是最基础的两种有监督模型——线性回归与线性分类,同时引入压缩估计、损失函数加罚这套贯穿全书的建模框架。第 4 章单独讲模型评价与选择,把”训练误差不等于测试误差”这件事讲透,它是后面所有方法选择的地基。第 5–7 章进入非线性方法:决策树与组合方法、神经网络与深度学习、支持向量机。第 8–9 章转到无监督与推荐:聚类分析、推荐系统。第 10 章用两个十亿字节级的真实数据案例把前面的方法串起来。
全书主线
把十章连起来看,全书回答的是同一个问题在两个层面上的展开:怎样用一个受控复杂度的模型去逼近数据背后的规律,并且知道自己的逼近有多可靠。
第一层是模型的形状。线性回归给出最基础的加性结构:输出是输入的加权和加噪声。它的局限(多重共线性、变量多而样本少)直接催生了岭回归与 Lasso 这类压缩方法,也逼出了”损失函数 + 罚函数”的统一框架——把”拟合得好”和”模型别太复杂”写成两项相加,换罚函数就换出一种新方法。线性分类沿着同一思路,把输出换成后验概率的对数比,于是 Logistic 回归与线性判别分析成为同一族模型的两个估计路线:一个只拟合条件分布,一个借正态假定拟合联合分布。
第二层是复杂度该多大。第 4 章把这件事单独拿出来讲:训练误差随复杂度单调下降,测试误差却是 U 形,两者之间的差额就是”乐观度”。所有评价准则(Cp、AIC、BIC、交叉验证、自助法)本质都在给这个差额定价;离开这套定价,后面任何方法的选择都是凭感觉。
第三层是当线性不够用时怎么办。决策树用递归划分代替加权和,代价是方差大——于是有 Bagging、随机森林(降方差)与 Boosting(降偏差)。神经网络用多层复合非线性代替单层,代价是优化困难与过拟合——于是有反向传播、正则化、预训练。支持向量机换了一个角度:不拟合全部样本,只让最靠近边界的少数点决定分界面,用最大化间隔来控制容量,再用核函数把线性方法搬到高维空间。
最后是无监督与落地。聚类要在没有标签的情况下先定义”相似”;推荐系统把”用户-物品评分矩阵”当作待补全的对象,用邻居或潜在因子填补空缺。第 10 章的两个案例则显示:真实数据里最耗时的不是选模型,而是把口径定清楚、把缺失与偏差处理掉——这一步做错,模型再好也是错的。
总序与前言
两个序,一种立场
《大数据挖掘与统计机器学习》的总序与前言都不长,却把这本书的立场交代得很清楚:它不是算法手册,而是一本用统计学的方式讲机器学习的教材。理解全书的第一把钥匙是 统计学是方法论科学——统计学被定义为收集、分析、展示和解释数据的方法性质的科学,不绑定任何具体领域,因而能同时进入经济、医学与工程;也正因是方法论,它在面对新数据形态时不必重建自身,只需扩展工具箱。
写作动机:学科与人才的交汇
总序把动机放在两条线上:2011 年统计学升为一级学科,同年“大数据时代”的说法开始流传。两者的交汇点是人——既懂统计建模、又会写代码,还能提出研究问题、判断数据质量、评价模型并清楚呈现结论。大数据重塑统计人才能力 把这套要求拆成四项,本书的章节安排是对它的直接回应,其中“模型评价与选择”单独成章,就是“如何评价模型”这一条的教学化。前言则把它落到“数据科学”这个新名字上:从海量数据到结论再到智能决策,数据科学因大数据而生。
结构上的取舍
全书按“监督学习—无监督学习”推进:线性回归与线性分类打底,模型评价与选择承上启下,再进入决策树与组合方法、神经网络与深度学习、支持向量机这些非线性方法,最后是聚类分析与推荐系统,末章用两个 10G 级案例收口。这一顺序的用意是让评价环节先于复杂模型出现,读者在接触非线性方法之前,已经知道怎样判断一个模型好不好。体例上则是 方法与代码案例并重:每种方法配 R 实现,深度学习与支持向量机另给 Python 实现,案例同时提供单机与分布式两套方案。
读者与读法
本书以应用统计专业硕士为主要读者,兼顾高年级本科生与从业者,偏应用的读者可跳过带星号的章节。自学者可先读第 1、4 章建立框架与评价标准,再按需进入具体模型,最后用末章案例做一次端到端演练。
第1章 概述
从一堆名字说起
数据挖掘这个词 1990 年前后出现,《不列颠百科全书》把统计定义为收集、分析、展示、解释数据的科学,而数据挖掘完全符合这个定义。所以 数据挖掘与统计同源异流 讲的不是两个目标,而是两支队伍:一支从计算机科学出发,一支在统计传统里长大;前者更早面对大容量、非结构化和工程实现,后者更熟悉推断与不确定性。名字的多义由此而来,KDD、模式识别、人工智能、机器学习、统计学习轮番登场,见 同一件事的一串名字。知道一个名词背后的学科归属,就能预判它关心的是「跑不跑得通」还是「假定站不站得住」。
数据变大以后,讨论焦点从方法转到数据本身。大数据:定义与四个维度 把大数据说成规模巨大、增长与传递迅速、形式复杂多样、非结构化程度高,并给出 volume、variety、velocity 加上 veracity 四个维度。前三个描述「多、杂、快」,第四个才点出要害:价值密度低,数据多不等于信息多,难点在于快速准确地提取真实有用的部分。于是有了 数据科学是三块知识的交集——统计批判性思维负责判断结论可不可信,计算机科学负责算不算得动,领域知识负责问题问得对不对。
模型是怎么被数据推翻的
科学方法:模型靠数据更新 给出一条闭环:观测得到数据,归纳出模型(假说、理论),模型指导下一步探索,撞上解释不了的现象就修正或替换。关键在「暂时」二字:模型不是被证明为真,而是暂时没被推翻。这也解释了 统计归纳与数学演绎相反——数学从公理往下推,结论在体系内必然成立;统计从样本往上归纳,结论只对数据代表的那部分世界成立,且带着误差。把「显著」读成「确定」,正是混淆了这两种推理。
为什么要换发动机
模型驱动的合理性与代价 讲的是历史账:没有计算机时只能对少量数据作独立同正态之类的假定,手算模型,再推导置信区间、相合性,甚至借中心极限定理谈样本趋于无穷时的性质。算力稀缺时这是理性选择,代价是结论被假定绑死,研究围着模型转而不再围着问题转,统计因此「自我封闭」。转变方向由 让问题和数据驱动研究 给出:先找现成方法,不够再按数据特征造方法并补理论,同时必须考虑算法复杂度与编程实现——算不出来的模型等于不存在。
两类任务与一张地图
按有无目标变量划分学习方式 是全书的总开关:有目标变量 Y 就是有监督,Y 连续叫回归,Y 是类别标签叫分类;没有 Y 就是无监督,找的是数据内部的关系与模式,如主成分、聚类、关联规则。这条界线按任务有没有标准答案来分,不按算法分。它决定了章节分工,本书的难度定位与章节路线 因此先讲线性回归与线性分类这两个最基本的有监督情形,再讲模型评价与选择,让后面每个模型都用同一套语言比较;然后进入非线性的树与组合、神经网络与深度学习、支持向量机;接着是无监督的聚类和业界常用的推荐系统;最后用两个约 10G 的案例走通单机与分布式两套流程。全书难度刻意卡在 ISL 与 ESL 之间,每章末配上机实践。
最后落在判断力上
数据智慧是判断力而非算法 提醒:可扩展的存储与计算只是必要条件,数据能否变成「可被采纳的信息」,取决于人有没有把领域知识、经验、常识和判断力结合起来。数据分析十问的闭环 把这套判断力拆成可操作的检查项,从「要回答什么问题」一路问到「结果怎么验证」。其中两步最容易被跳过:一是 分割数据以防过拟合,同一份数据既建模又验证,模型会把噪声也记住,评估必然虚高,而且分割要顺着相关性、聚类性、异质性切,保证每块都代表总体;二是 稳定性检验筛掉假发现,换方法、加噪声、二次抽样之后结论还在,才值得相信。前者防「自己考自己」,后者防「换个样本就崩」,两者合起来,才是把模型结论当作知识使用的前提。
第2章 线性回归方法
从一条直线到矩阵
线性回归要解决的问题是:给定 p 个自变量和 n 组观测,如何用一个超平面描述 y 的条件期望,并判断这个平面是否可信。多元线性回归的矩阵写法把模型写成 Y=Xβ+ε,把全部推断压在“X 列满秩”这根柱子上:设计矩阵一旦降秩,估计与检验同时失效。最小二乘与正规方程给出求解路径——最小化残差平方和,得到正规方程 XᵀXβ=XᵀY 与闭式解 β̂=(XᵀX)⁻¹XᵀY;帽子矩阵 H 把残差写成 (I-H)Y,SSE/(n-p-1) 则无偏估计误差方差。高斯-马尔可夫定理说明这个解在一切线性无偏估计中方差最小,而且该结论不依赖正态假定:正态假定服务于 t 检验、F 检验与区间估计,不服务于估计本身。
拟合优度与显著性
离差平方和分解与F检验把 y 的波动拆成回归能解释的 SSR 与残差 SSE,自由度同步拆成 p 与 n-p-1,F 统计量正是两者各自除以自由度后的比。整体显著之后还要逐个看系数,单个系数的t检验用 (XᵀX)⁻¹ 的对角元与 σ̂ 构造 t 值,或用删除该变量后 SSE 的增量构造偏 F,两者等价(t²=F)。调整R²挡住变量堆砌提醒 R² 只会随变量增加而上升,必须用自由度修正;拟合优度也不是判断模型的唯一标准。
假定不成立时
残差图诊断模型假定把不可观测的 ε 用残差替代,从散点形状读出非线性与异方差,再用正态检验确认残差分布。DW统计量查一阶自相关处理误差相关问题,判读要查 dl、du 两个临界值,且只对一阶自相关有效。诊断出问题后的正确处理是变换、加权最小二乘或修改模型设定,而不是硬着头皮解释系数。
共线性与变量选择
多重共线性的识别给出机制:近似共线使 XᵀX 接近奇异,逆的对角元膨胀,系数方差变大、符号可能反常;VIF>10 或条件数 κ>30 是常用的报警线。逐步回归的有进有出是在“信息全”与“模型简”之间的贪心折中:前进、后退各自单向不可逆,逐步回归靠引入后回头剔除来弥补,但显著性水平与 AIC/BIC 准则的选择会影响最终变量集。
压缩估计
共线性无法靠删变量彻底解决时,就接受有偏。岭回归用偏差换方差用 kI 把 XᵀX 拉成正定,等价于加 L2 惩罚;MSE=偏差²+方差 的分解说明,只要方差降得够多,偏差可以接受。岭迹暴露共线性是这一思路的诊断面:系数随 k 的轨迹能揭示谁在靠共线性支撑、哪两个变量在互相抢夺贡献。Lasso的L1惩罚自动选变量把惩罚换成 L1,解可落在坐标轴上,从而同时压缩与选择,代价是失去解析解。几何图看懂岭回归与Lasso用圆与正方形的差别解释为什么只有 Lasso 能产生零系数,且维数越高越明显。SSE与MSE不是一回事区分“一次抽样的残差”与“估计量的理论性质”,这是理解有偏估计为何可能更优的关键。调节参数本质是模型选择指出 k、λ 的每个取值都是一个模型,应当用 Cp、AIC、BIC 或交叉验证来选。贝叶斯先验对应惩罚换了视角:高斯先验的后验众数给出岭回归,Laplace 先验给出 Lasso,L1 的稀疏性来自先验在 0 点的尖峰。
路径解与理论性质
最小角回归一次算完整路径解决 Lasso 的计算:不逐个 λ 求解,而是让变量依次进入备选集、系数分段线性增长,一次给出整条路径;把“系数归零就踢出”加进去,就从最小角路径得到 Lasso 路径。评价估计量还需要标准,好惩罚函数与SCAD神谕性给出无偏、稀疏、连续三条:Lasso 在大系数上仍有偏,SCAD 削掉对大系数的惩罚,同时满足三条并具备神谕性,但非凸难解;自适应 Lasso 用加权 L1 换回凸性。
损失与罚的组合
损失函数加罚的统一框架把所有模型收进一个式子:损失决定“怎样算预测错”,罚决定“怎样压制复杂度”。分位回归按后果不对称惩罚展示了损失不对称带来的新能力:τ 小于 0.5 时更怕高估,适合库存成本与缺货损失不对称的销量预测;绝对损失与分位损失对异常值也更稳健。罚函数一侧还有变体:弹性网兼顾相关变量组用 L1+L2 的凸组合解决 p>n 与相关变量成组入选的问题,并以缩放修正双重惩罚的偏差;分组Lasso整组取舍把组结构直接写进惩罚,用组内 L2、组间加权的方式让整组系数同时为零或同时非零。
上机验证
糖尿病数据:共线性与逐步回归用 64 个自变量的 diabetes 数据复现诊断链条:条件数 11 427.09 报警,逐步回归后调整 R² 为 0.523 3,残差图与夏皮洛-威尔克检验(p=0.066 48)支持同方差与正态。糖尿病数据跑岭回归与Lasso接着用 lm.ridge、lars、cv.lars、msgps 四条路线建模,得到 13 个、15 个变量等不同结果,直观看到调节参数与选择准则带来的不确定性。恩格尔数据的分位回归换成 235 户收入—食品支出数据,用 rq 拟合 50 个分位点,取对数后预测更贴合,并由 5% 与 95% 收入分位的核密度曲线看出穷人消费集中、富人消费分散。
原书依据 · 26 处
- 第2章 线性回归方法 · 查看原书依据
- 第2章 线性回归方法 · 查看原书依据
- 第2章 线性回归方法 · 查看原书依据
- 第2章 线性回归方法 · 查看原书依据
- 第2章 线性回归方法 · 查看原书依据
- 第2章 线性回归方法 · 查看原书依据
- 第2章 线性回归方法 · 查看原书依据
- 第2章 线性回归方法 · 查看原书依据
- 第2章 线性回归方法 · 查看原书依据
- 第2章 线性回归方法 · 查看原书依据
- 第2章 线性回归方法 · 查看原书依据
- 第2章 线性回归方法 · 查看原书依据
- 第2章 线性回归方法 · 查看原书依据
- 第2章 线性回归方法 · 查看原书依据
- 第2章 线性回归方法 · 查看原书依据
- 第2章 线性回归方法 · 查看原书依据
- 第2章 线性回归方法 · 查看原书依据
- 第2章 线性回归方法 · 查看原书依据
- 第2章 线性回归方法 · 查看原书依据
- 第2章 线性回归方法 · 查看原书依据
- 第2章 线性回归方法 · 查看原书依据
- 第2章 线性回归方法 · 查看原书依据
- 第2章 线性回归方法 · 查看原书依据
- 第2章 线性回归方法 · 查看原书依据
- 第2章 线性回归方法 · 查看原书依据
- 第2章 线性回归方法 · 查看原书依据
第3章 线性分类方法
从回归到分类 第2章的响应变量是连续值,本章的响应变量是类别:给定 p 维输入 X,输出 Y 取 K 个无序类别。分类模型就是一个映射 f(X)→Y,它把输入空间切成 K 个区域,区域之间由决策边界分开,边界可以是任意函数,线性边界是最常用的一类。落到数据上,第一步不是选模型而是对齐问题形式:二分类标签可能写成 {1,2}、{0,1} 或 {+1,−1},各软件函数对因变量格式要求不同,编码不一致时程序往往不报错,只是悄悄算错,这是 分类就是划分特征空间 强调的工程前提。边界也不必成对计算:K 类只需 K−1 个判别函数之差,把样本判给判别函数最大的类即可;只要判别函数或后验概率是 x 的线性函数,边界也就是线性的,见 判别函数取最大即分类。
理论坐标 用 0—1 损失衡量错误时,期望预测误差可以逐点最小化,最优解是把 x 判给后验概率最大的类,即贝叶斯分类器;它的错误率 Bayes rate 是任何分类器在该分布下的下界。本章后续方法都可以理解为在有限样本与不同假定下逼近这条下界,差别在于用什么假定、估哪些参数,参见 贝叶斯分类器是误差下界。若手上的模型只会二分类,就用一对一或一对其他拆成多分类,代价分别是模型数量按平方增长与正负样本不平衡,见 二分类器如何做多分类。
评价准则 整体正确率只适合类别大致均衡的场合;一旦某类样本远多于另一类,全部判为多数类也能得到高正确率,模型却无用。此时要拆开混淆矩阵的四个格子,用精确率看“判为正的里面有多少真”、用召回率看“正例被抓出多少”,再用 F 值折中,这是 不平衡数据别只看正确率 的要点。模型通常输出概率,阈值把概率变成类别,阈值一动混淆矩阵与所有指标都跟着变,所以单点指标必须交代阈值;选阈值的判据是约登指数 TPR−FPR 最大的位置,它等价于 ROC 曲线上离左上角最近的点,见 阈值与约登指数。把阈值从 1 扫到 0 就得到 ROC 曲线,其下面积 AUC 概括全部阈值的表现:随机猜测 0.5,理想 1,见 ROC曲线把阈值扫一遍。实践中的阈值还要按漏诊与误报的代价再调。
Logistic 回归 Logistic 回归直接对 P(Y=1|X=x) 建模,用 S 形函数把线性组合压进 (0,1);Logit 变换把模型写成发生比的对数等于线性函数,于是系数可以像线性回归那样解释,只是没有误差项,随机性来自二项分布,见 Logit把概率拉成直线。系数 exp(βk) 是自变量增加一单位时发生比变化的倍数,符号表示作用方向,虚拟变量则相对参照水平解释,见 系数是发生比的倍数。估计用最大似然,得分方程非线性,靠 Newton-Raphson 迭代,每步等价于加权最小二乘(IRLS),对数似然的凹性保证收敛,估计量渐近正态,见 最大似然靠迭代加权求解。评价分两条线:充分性看拟合与预测(Pearson χ²、离差、Hosmer-Lemeshow),简洁性看变量是否多余(Wald、似然比),见 充分性看拟合简洁性看变量。变量多时在负对数似然上加 L1 惩罚,惩罚不含截距并要求标准化,稀疏解同时完成选择,λ 由交叉验证定,见 L1惩罚做变量筛选。
线性判别 LDA 走生成式路线:先估每类的条件分布与先验,再用贝叶斯定理反推后验;在多元正态、各类协方差相同的假定下二次项约掉,判别函数线性、边界是超平面,见 LDA从类分布反推后验。放宽为各类协方差不同,二次项保留,边界变成二次曲线,参数从 (K−1)(p+1) 涨到 (K−1)[p(p+3)/2+1],方差随之变大,见 方差不等边界就变弯。两者之间用收缩连接:把各类协方差向共同协方差压缩,α 从 0 到 1 就是从 LDA 走到 QDA,还可以再向常数压缩,超参数用交叉验证选,见 正则化在LDA与QDA之间。与 Logistic 回归相比,两者的后验 logit 形式相同,差别在估计:Logistic 只拟合条件分布、忽略 Pr(X),LDA 拟合联合分布,正态成立时可更有效率(最多相当于省 30% 样本),但假定不成立时 Logistic 更稳妥,见 Logistic与LDA差在哪。
上机实践 案例用 glmpath 的 heart.data:462 名南非人、9 个指标、160 人患病。描述统计先看清结构——adiposity 与 obesity 高度相关、famhist 卡方检验显著、若干连续变量箱线图区分明显;随后 8:2 划分,建全模型并用 AIC、BIC 逐步回归,三者系数接近,再用测试集上的 ROC 与约登曲线比较,AIC 模型以 0.556 为阈值取得正确率 0.828,见 心脏病数据的建模流程。第二组练习对比 L1 正则 Logistic(glmpath 预测校正法、glmnet 坐标下降)与 LDA、QDA:LDA 正确率 0.796 高于 QDA 的 0.753,正好印证参数越多方差越大的判断,见 惩罚回归与判别法对比。
一条共同的线索 两种线性方法、四种评价指标、一套正则化技巧,最终指向同一个判断:分类器的好坏取决于假定与数据是否匹配,而不是模型名字。Logistic 假设少、更稳;LDA 假定强、效率高;QDA 更灵活、更易过拟合;正则化与收缩则提供连续调节的旋钮。选模型时,先用描述统计判断数据结构,再用交叉验证与 AUC、约登指数作外部检验,最后按业务代价定阈值。
原书依据 · 18 处
- 第3章 线性分类方法 · 查看原书依据
- 第3章 线性分类方法 · 查看原书依据
- 第3章 线性分类方法 · 查看原书依据
- 第3章 线性分类方法 · 查看原书依据
- 第3章 线性分类方法 · 查看原书依据
- 第3章 线性分类方法 · 查看原书依据
- 第3章 线性分类方法 · 查看原书依据
- 第3章 线性分类方法 · 查看原书依据
- 第3章 线性分类方法 · 查看原书依据
- 第3章 线性分类方法 · 查看原书依据
- 第3章 线性分类方法 · 查看原书依据
- 第3章 线性分类方法 · 查看原书依据
- 第3章 线性分类方法 · 查看原书依据
- 第3章 线性分类方法 · 查看原书依据
- 第3章 线性分类方法 · 查看原书依据
- 第3章 线性分类方法 · 查看原书依据
- 第3章 线性分类方法 · 查看原书依据
- 第3章 线性分类方法 · 查看原书依据
第4章 模型评价与选择
要解决的问题 模型在训练数据上表现好,不等于在新数据上表现好。泛化能力只能通过「没见过的数据」来衡量,而这类数据在建模时并不存在,所以整章围绕一件事展开:如何估计一个模型对独立测试集的预测误差,并用这个估计去挑模型、报性能。
四种误差与两条曲线 最基础的概念是测试误差 Err_T 与期望测试误差 Err 的区分:前者条件于给定训练集 T,只对预测点取期望,换批数据就变;后者再对训练集的抽样取平均,是固定的未知常数。二者都只能估计,估哪一个决定了后面用哪种方法(测试误差与期望测试误差)。训练误差是训练点损失的平均,是能算出数值的统计量,但它随复杂度单调降到零,而测试误差呈 U 形,先降后升,分别对应欠拟合与过拟合,所以训练误差不能当作误差估计(训练误差不能估计测试误差)。分类问题把平方损失换成 0—1 损失或负对数似然(离差),后者乘 2 后与正态下的平方损失一致,使回归与分类共用一套框架(分类损失的两种常用形式)。
选择与评价是两件事 模型选择是比较候选、挑出最好的;模型评价是给已选模型估推广误差。数据充足时用训练/验证/测试三分(2∶1∶1)最干净,测试集只在最后用一次,否则它会被选择过程污染(模型选择与模型评价的分工)。数据不足时,才需要 4.2 与 4.3 的方法去近似验证集。
为什么会有最优复杂度 设 Y=f(X)+ε,平方损失下 x0 点的期望预测误差分解为偏差平方、估计方差与噪声方差三项,第三项不可约,是误差下界;复杂度上升时偏差降、方差升,故中间存在最优点(偏差-方差分解的三项)。用二次真模型配线性拟合就能看到这笔交换:直线方差小却弯不过来、偏差大,高复杂度曲线方差大却均值贴近真值。图4—3 进一步把偏差分成两块:真实值与「总体最优拟合」之差是模型偏差,来自模型空间太窄;两个不同模型空间的总体最优拟合之差是估计偏差,来自人为压缩,压缩换来的正是方差变小(模型偏差与估计偏差)。
理论方法:先估乐观度,再加回去 训练误差低估误差的程度叫乐观度 op,其期望 ω 取决于 y_i 与预测值的相关程度,拟合越充分越乐观,于是 Err_in=训练误差+ω(样本内误差与乐观度)。线性回归下 ω=(2p/n)σ²,得 Cp=RSS/n+2pσ̂²/n,第二项按变量个数收费,取值越小越好(Cp 统计量校正乐观度)。AIC 把这一结构推广到似然:从 KL 距离出发,最小化相对熵等价于最大化 E log Q(X),大样本下近似为 logL−p,乘 −2 得 −2logL+2p,每个参数定价 2(KL 距离与 AIC)。BIC 把 2 换成 log n,n>7.4 后罚得更重;它由贝叶斯后验推出,最小 BIC 等价于最大后验概率,还能顺带算出各模型的后验概率作为相对重要性(BIC 与后验模型概率)。当参数个数说不清时(岭回归、样条),用线性估计 ŷ=Sy 的有效自由度 trace(S) 替代 p(有效参数个数与自由度)。
数据重利用:直接把样本外误差估出来 交叉验证把数据分 K 份,轮流留一份做测试、其余建模,K 个损失平均;它对以 α 索引的一族模型选出最优 α,选定后再用全量数据重估参数,K=n 是留一法,成本高且各折模型相似,通常取 5 或 10(K 折交叉验证的步骤)。它最容易被误用:先在全数据上筛变量、再交叉验证,误差会被严重低估,因为被筛中的变量已看过测试折;正确做法是把筛选、建模、预测都放进折内,凡依赖 y 的步骤都要搬进去(交叉验证须嵌入每一步)。它自身也有偏差:每折少用 1/K 的数据,学习曲线陡时估计偏高,样本量小时尤其明显。
自助法等概率有放回抽 n 个样本,约 63.2% 的原样本会进样本集,因此等价于从经验分布抽样,可估统计量的分布(自助法抽样与0.632)。用 Z* 拟合、原数据测试会因重叠而过度乐观,改用「不含 i 的 Bootstrap 集预测 i」可修正,但又因训练集只含 0.632n 个点而反向偏高,于是有 0.632 与 0.632+ 的加权修正,后者用无信息误差率与相对过拟合率调整权重(自助法误差的两种修正)。
上机实践:两个反例 模拟研究 1 用 50 个样本、5000 个纯噪声变量(真实误差 50%)对比两种流程:先筛后交叉验证报出 3.4% 的误差、变量与 y 的相关达 0.33;把筛选搬进折内后误差回到 48.68%、相关接近 0(模拟研究1:交叉验证流程)。模拟研究 2 把样本压到 20 个、变量 500 个,用单变量决策树说明:全数据上最优的变量,其阈值在 4⁄5 子样本上重学后就失效,4 个测试点几乎全靠猜;而 50 次重复的 CV 误差均值约 50%,证明错的不是交叉验证,而是让选择步骤偷看了数据(模拟研究2:高维单变量分类)。两个实验合起来给出一条可操作的纪律:任何用到响应变量的决定,都必须发生在折内。
原书依据 · 17 处
- 第4章 模型评价与选择 · 查看原书依据
- 第4章 模型评价与选择 · 查看原书依据
- 第4章 模型评价与选择 · 查看原书依据
- 第4章 模型评价与选择 · 查看原书依据
- 第4章 模型评价与选择 · 查看原书依据
- 第4章 模型评价与选择 · 查看原书依据
- 第4章 模型评价与选择 · 查看原书依据
- 第4章 模型评价与选择 · 查看原书依据
- 第4章 模型评价与选择 · 查看原书依据
- 第4章 模型评价与选择 · 查看原书依据
- 第4章 模型评价与选择 · 查看原书依据
- 第4章 模型评价与选择 · 查看原书依据
- 第4章 模型评价与选择 · 查看原书依据
- 第4章 模型评价与选择 · 查看原书依据
- 第4章 模型评价与选择 · 查看原书依据
- 第4章 模型评价与选择 · 查看原书依据
- 第4章 模型评价与选择 · 查看原书依据
第5章 决策树与组合方法
一棵树怎么长出来
决策树把样本空间切成若干矩形区域:全部样本先放在根节点,每次挑一个变量与一个阈值,把节点劈成纯度更高的子集,对子节点重复,直到触发停止条件(例如叶节点至少 5 个观测)。决策树从根节点递归分枝 停止条件决定叶节点数目,也决定模型复杂度。切分好坏由不纯度衡量:错分率只看多数类的比例,Gini 指数与熵把各类比例都算进去,二分类下分别是 2p(1-p) 与 -p log p-(1-p)log(1-p),三者在 p=0.5 时最大、纯节点为 0。不纯度:错分率、Gini与熵 Gini 与熵光滑可导,数值优化更方便,所以比错分率更常用。
先长后剪,以及两类任务
与其在生长时反复判断是否停止,更常见的做法是先长出一棵最大树 T_0,再用代价—复杂度准则 C_α(T)=Σ_m n_m Q_m+α|T| 剪枝:第一项是加权不纯度,第二项用叶节点数惩罚复杂度,α 越大树越小,α 由交叉验证选定。先长大树再代价复杂度剪枝 因变量连续时就是回归树,叶节点输出该区域样本均值,不纯度换成平均残差平方和,生长与剪枝的框架完全平行。回归树用均值做预测 类别自变量有 q 个属性时,穷举二分要 2^{q-1}-1 次;若因变量是 0—1,可按类别在 1 类中的比例排序后当有序变量扫描切点,结果与穷举最优一致。缺失值既可单列一类,也可构造替代变量,在预测时按近似程度依次顶替。自变量处理的两个技巧
单棵树的麻烦
每次分枝都是局部最优的贪婪选择,数据稍一扰动,分枝变量或阈值就可能换掉,整棵树面目全非——这就是方差大、不稳定,而且回归树的预测曲面还是阶梯状的。决策树方差大不稳定 组合方法正是针对这一点:既然单棵树方差大,就造很多棵再平均。
Bagging:用重采样换稳定
Bagging 用有放回等概率抽 n 个样本的自助采样造出 M 个训练集,各训练一个基预测器,分类投票、回归取平均。Bagging重采样后投票平均 它只对不稳定算法有效:决策树、神经网络、MARS、子集回归明显改善,岭回归、K 近邻、线性判别几乎不动。不稳定基学习器才受益 原因是平均只压方差、不动偏差,只有当基预测器随训练集剧烈波动时,E(Z²)≥(EZ)² 留下的差距才大,所以 Bagging 的收益完全体现在方差缩减上。
投票为何有效也有条件。设 Q(j|x) 是基分类器判 x 为 j 类的概率,若真实概率最大的类恰好也是 Q 最大的类(Order-correct),组合后就接近贝叶斯最优;但单个 Order-correct 分类器的准确率可能只有 0.58。多数投票为何有效的条件 每次自助采样约有 37% 的样本没被抽中,用这些袋外样本做组合预测,就得到几乎不花额外计算的泛化误差估计,其均值与测试集误差很接近。袋外样本估计泛化误差 边界同样清楚:基分类器错分率高于 0.5 时,投票会把系统性错误放大到接近 1,坏的更坏。Bagging救不了坏分类器
AdaBoost:把注意力移到错分样本
AdaBoost 只在第一轮用等概率自助采样,此后按上一轮的错误率调整抽样概率,错分样本更容易被抽中,新的树被迫去啃前面的硬骨头。AdaBoost自适应重采样 每轮在当前权重下寻找加权错分率 ε_m 最小的树,并给它权重 α_m=½ln((1-ε_m)/ε_m),最终用 sgn(Σ α_m h_m(x)) 加权投票,越准的树话语权越大。每轮拟合加权错分率最小的树
把每棵树看成一项,AdaBoost 就是一个可加模型 f_M(x)=Σ β_m b(x;γ_m),用分步向前拟合:每步只加一项,不回头改前面的系数。AdaBoost是分步可加模型 它最小化的损失是指数损失 exp(-y f(x)),y 取 ±1,y f(x) 就是边际。展开后第 m 步等价于在权重 w_i=exp(-yi f{m-1}(x_i)) 下最小化加权错分率,解出的系数正是 α_m,权重更新也与抽样概率更新一致。指数损失下的AdaBoost
边际、梯度与损失的选择
Schapire 用边际解释 AdaBoost:边际是判对类的权重和减去最强错类的权重和,提升边际可以压低泛化误差上界;但 Arc-gv 造出更大边际却更差,原因是它没有控制树的复杂度。边际与泛化上界 更一般的看法是把 F 当作函数空间的参数做最速下降:先算负梯度,再用一棵树最小二乘逼近它(伪响应),最后线搜索步长;平方损失下伪响应就是残差,这正是 L2-Boosting。梯度提升拟合负梯度
损失函数决定稳健性。负边际变大时,负二项对数似然线性增长,指数损失指数增长,噪声点的影响被放大,因此数据脏时对数似然更稳;平方损失对边际很大的正确样本仍重罚,不适合分类。指数损失对噪声更敏感 用对数似然替换指数损失、用牛顿法代替最速下降,就是 LogitBoost:权重取 p(1-p),每轮做加权最小二乘,再折半更新 F。LogitBoost改用牛顿法
Boosting 也会过拟合,只是慢。控制手段一是用交叉验证定 M,二是收缩:fm=f{m-1}+v h_m,v 取 0.1 以下并提前停止,往往比大步长走到底好;基学习器偏向树桩,低方差、只含主效应,K 个叶节点最多表达 K-1 阶交互。迭代次数与学习率收缩 组合模型失去单树结构后,可以用分裂带来的不纯度下降之和度量变量重要性,用偏依赖 f_S(xS)=E{X_C}f(x_S,X_C) 看某个变量对输出的边际影响。变量重要性与偏依赖图
随机森林:再去掉相关性
Bagging 的树同分布,平均后方差为 ρσ²+(1-ρ)σ²/B,B 再大也消不掉 ρσ²。随机森林在每个节点只从 p 个变量里随机抽 m 个挑最优切分,用变量随机性把 ρ 压下去;分类默认 m≈√p,回归默认 m≈p/3,还顺带给出邻近矩阵。随机森林随机选变量降相关 代价是单棵树更弱,但平均后的方差远小于单树,偏差与单树相当甚至更大,所以它同样只减方差。随机森林只减方差
乳腺癌数据:四级台阶
699 例、9 个 1—10 分的细胞特征,241 例恶性,16 例裸核缺失,按 8:2 划分。单棵分类树只用 V2、V1、V6、V8 就长出 8 个叶节点,训练误差 2.7%,测试准确率 92%。乳腺癌数据:分类树基线 把 mtry 设为全部 9 个变量即退化成 Bagging,准确率 96%;随机森林默认 mtry=3,升到 97%,恶性识别率 98%,importance() 给出两种排序,V2、V6 居前。乳腺癌数据:组合模型对比 gbm 用 adaboost 分布、5000 棵树、深度 3,测试 96%,偏依赖图显示细胞大小均匀性得分越高越可能恶性。乳腺癌的Boosting模型
cpu 数据:回归任务的同一结论
209 个 CPU,因变量 perf 严重右偏,取 log10 后建模,167/42 划分。回归树 MSE 0.0778(RMSE 0.279),Bagging 0.0366,随机森林 0.0384,Boosting 0.0370:组合方法把误差砍掉一半左右,三者彼此接近。cpu数据的四种方法对比 变量重要性都指向缓冲区大小与最大主内存。
把 AdaBoost 拆开看
模拟数据上,单个树桩误差 45.48%,几乎等于瞎猜;最优 CART 单树 25.84%;AdaBoost 迭代到 400 棵降到 15.15%。树桩、单树与AdaBoost 换一种自适应重采样规则(Arc-X4)结果几乎一样,说明关键在于“跟着错误率调整抽样”,而不在某条具体公式;AdaBoost 每轮真正用到的样本比 Arc-X4 更少,抽样概率的波动也更大。
方法的谱系
从单树到组合,主线是把方差与偏差分开处理:Bagging 与随机森林靠平均压方差,Boosting 靠逐项修正降偏差。代价是失去单棵树的可读结构,需要用变量重要性与偏依赖图把解释性补回来;而在两个实测数据上,三种组合方法的差距都小于它们与单棵树之间的差距。
原书依据 · 28 处
- 第5章 决策树与组合方法 · 查看原书依据
- 第5章 决策树与组合方法 · 查看原书依据
- 第5章 决策树与组合方法 · 查看原书依据
- 第5章 决策树与组合方法 · 查看原书依据
- 第5章 决策树与组合方法 · 查看原书依据
- 第5章 决策树与组合方法 · 查看原书依据
- 第5章 决策树与组合方法 · 查看原书依据
- 第5章 决策树与组合方法 · 查看原书依据
- 第5章 决策树与组合方法 · 查看原书依据
- 第5章 决策树与组合方法 · 查看原书依据
- 第5章 决策树与组合方法 · 查看原书依据
- 第5章 决策树与组合方法 · 查看原书依据
- 第5章 决策树与组合方法 · 查看原书依据
- 第5章 决策树与组合方法 · 查看原书依据
- 第5章 决策树与组合方法 · 查看原书依据
- 第5章 决策树与组合方法 · 查看原书依据
- 第5章 决策树与组合方法 · 查看原书依据
- 第5章 决策树与组合方法 · 查看原书依据
- 第5章 决策树与组合方法 · 查看原书依据
- 第5章 决策树与组合方法 · 查看原书依据
- 第5章 决策树与组合方法 · 查看原书依据
- 第5章 决策树与组合方法 · 查看原书依据
- 第5章 决策树与组合方法 · 查看原书依据
- 第5章 决策树与组合方法 · 查看原书依据
- 第5章 决策树与组合方法 · 查看原书依据
- 第5章 决策树与组合方法 · 查看原书依据
- 第5章 决策树与组合方法 · 查看原书依据
- 第5章 决策树与组合方法 · 查看原书依据
第6章 神经网络与深度学习
从生物神经元到可计算的单元 生物神经元由细胞体、树突、轴突、突触构成,多路冲动经整合后与阈值比较,只输出兴奋或抑制两种状态,生物神经元的二值输出。人工神经元把这一过程压成一个函数:输入乘权值求和、加偏置、过激活函数,即 y=f(Σωx+b),权值正负对应激励与抑制,偏置相当于可学习的阈值,人工神经元的加权求和。激活函数有三类形态:阈值函数给出二值判别,分段线性函数在部分区间内保持线性,Sigmoid 兼顾非线性与可微,激活函数的三类形态。同一族函数的选择还决定输出语义:阈值给出硬判别,Sigmoid 的输出落在 0 到 1 之间,可解释为属于该类的程度。而 BP 必须使用可微函数,是因为梯度下降要回答“往哪个方向调”,阶跃函数在跳变处没有可用导数,梯度下降要求处处可微。
两种连接方式与三种监督强度 把神经元分层连接就得到网络。前向网络每层只收上一层输出、没有回环,用 5—3—4—2 这样的节点数串描述容量,前向网络的分层传递;反馈网络至少有一个闭环,输出是信号反复传递后收敛的平衡态,稳定性因而成为核心问题,反馈网络收敛到平衡态;它更适合联想记忆与优化求解,本书的监督任务基本落在前向结构上。训练前还要确定信息量:有监督给期望输出,无监督只给样本,强化只给奖惩,三种学习方式的监督强度。多分类还要决定输出编码:多输出“一网多类”需要更多隐层节点,单输出“多网二类”把一个多类问题拆成若干二分类,多分类的单输出拆解法。
学习规则与感知器的边界 最基础的调权规则是误差纠正,Δω=ηex 表示误差与输入的乘积决定修正量,误差纠正学习规则;Hebb 规则不看期望输出,只按前后神经元是否同时兴奋来加强连接,属于无监督的局部规则,Hebb规则:同兴奋则增强。两类规则的分野在于“教师”是谁:一个把误差当教师,一个把共激活当教师,这也解释了无监督预训练为何能借用 Hebb 式思路。单层感知器用符号函数判别,按 ω←ω+αxe 逐样本纠错,线性可分时有限步收敛,单层感知器的学习算法;其判别面是一个超平面,遇到非线性可分数据会震荡,这促使人们在输入与输出之间加入隐层,感知器的线性可分边界。
BP 算法如何训练多层网络 隐层没有期望输出可对照,BP 用正向传播算输出、反向传播分误差的两阶段循环解决,BP算法的两阶段循环。核心是误差信号 δ:输出层 δ=(d-o)o(1-o),隐层 δ=o(1-o)Σδω,后者把后一层的 δ 按权值加权折回,Sigmoid 导数 o(1-o) 也随之层层相乘,误差信号的逐层反传。工程上再加动量项 αΔω(t-1) 平滑轨迹,动量项抑制权值震荡;学习率、初始权值与动力常数都需试算,学习率与初始权值。容量同样要权衡:隐层节点太少欠拟合,太多过拟合,原则是在满足精度前提下取最紧凑结构,隐层容量决定拟合程度。整条推导还依赖两个前提——激活函数可微、误差可加,换成不可微函数或非平方损失,δ 的公式就要重写。
深度学习的两次转身 深网的价值在分层抽象:V1 提边缘、V2 检形状、高层成形、前额叶分类,高层特征由低层特征组合而来,深度网络的分层抽象。但 BP 直接训深网会遇到梯度弥散、局部极值与标注数据难获取,深网训练的三重障碍。Hinton 的方案从 RBM 起步:RBM 层内无连接,给定一层时另一层条件独立,可整层并行采样,RBM的层内无连接;其对数似然梯度含难以计算的配分函数项,CD-1 用一步重构的期望替代模型期望,用CD-1绕开配分函数。把 RBM 逐层堆叠、顶层保持无向,就得到 DBN,它同时具有自下而上的识别路径与自上而下的生成路径,DBN的生成与识别双路;训练时先逐层无监督预训练得到初值,再整体有监督微调,逐层预训练再整体微调。预训练解决的是初值,微调解决的是判别性:前者让深网能开始学,后者让学到的表示对准任务,两者缺一不可。
上机实践验证了什么 三个案例把机制落到数据。建筑能耗数据用 nnet 建 8-3-1 的 BP 网络预测热负荷,先做 min-max 归一化是关键,测试集相关系数达 0.992,热负荷回归的BP建模。红葡萄酒数据把评分二值化后建分类网络,并循环改变隐层节点数,用测试集而非训练集误判率选参,看到训练误差单调下降、测试误差回升的过拟合曲线,最终取 size=3,用测试误判率选隐层。手写数字用 h2o 训练 5 层、每层 160 个神经元的深网,误判率 8.4%;Python 侧用 RBM 提取 100 维特征接 SVM,把 94.4% 提升到 95%,手写数字的深网与RBM。三例共同说明:网络结构决定容量,预处理与参数选择决定这份容量能否兑现为泛化能力。三个网络都不大,真正拉开差距的却是归一化、留出测试集与按测试误差选参这些步骤,其影响不亚于换用更复杂的模型。
原书依据 · 26 处
- 第6章 神经网络与深度学习 · 查看原书依据
- 第6章 神经网络与深度学习 · 查看原书依据
- 第6章 神经网络与深度学习 · 查看原书依据
- 第6章 神经网络与深度学习 · 查看原书依据
- 第6章 神经网络与深度学习 · 查看原书依据
- 第6章 神经网络与深度学习 · 查看原书依据
- 第6章 神经网络与深度学习 · 查看原书依据
- 第6章 神经网络与深度学习 · 查看原书依据
- 第6章 神经网络与深度学习 · 查看原书依据
- 第6章 神经网络与深度学习 · 查看原书依据
- 第6章 神经网络与深度学习 · 查看原书依据
- 第6章 神经网络与深度学习 · 查看原书依据
- 第6章 神经网络与深度学习 · 查看原书依据
- 第6章 神经网络与深度学习 · 查看原书依据
- 第6章 神经网络与深度学习 · 查看原书依据
- 第6章 神经网络与深度学习 · 查看原书依据
- 第6章 神经网络与深度学习 · 查看原书依据
- 第6章 神经网络与深度学习 · 查看原书依据
- 第6章 神经网络与深度学习 · 查看原书依据
- 第6章 神经网络与深度学习 · 查看原书依据
- 第6章 神经网络与深度学习 · 查看原书依据
- 第6章 神经网络与深度学习 · 查看原书依据
- 第6章 神经网络与深度学习 · 查看原书依据
- 第6章 神经网络与深度学习 · 查看原书依据
- 第6章 神经网络与深度学习 · 查看原书依据
- 第6章 神经网络与深度学习 · 查看原书依据
第7章 支持向量机
问题的起点
二分类的训练集写作 {(x_i,y_i)},y_i 取 +1 或 −1。若一个超平面能把两类点完全分到两侧,数据就是线性可分的;否则是不可分的。可分性依赖特征表达,同一批点换一组特征可能就分开了,这为后面的核方法留下伏笔,见 线性可分与线性不可分。
为什么追求最宽的隔离带
能分开两类的超平面有无穷多个。若只要求训练误差为零,任何一条都合格,但它们的稳健性差别很大:贴着样本走的边界,遇到轻微扰动或新样本就容易越界;两侧都留出余量的边界,容忍扰动的空间更大。这正是 最大间隔原则 的含义——间隔是模型预留的安全余量,最大化间隔相当于在训练集上估计一个对扰动不敏感的判别面。
几何语言下的模型
超平面由法向量 ω 与偏置 ω0 决定,点 x 到它的距离是 |ω^T x+ω0|/‖ω‖。乘上类别符号后得到几何间隔 y(ω^T x+ω0)/‖ω‖,它才是真实距离;而 ω^T x+ω0 会随 ω 缩放,只是函数间隔,详见 超平面、法向量与几何间隔。约束所有点都落在隔离带之外,隔离带宽度就是 2M。
从几何到优化
(ω,ω0) 同乘正数表示同一超平面,解不唯一,必须固定尺度:或令 ‖ω‖=1,或约定最近点的函数间隔为 1。采用后者,间隔变为 1/‖ω‖,最大化间隔等价于最小化 ‖ω‖²/2,配上线性约束即得凸二次规划,局部最优就是全局最优,线性可分又保证可行域非空,推导链见 间隔最大化化为凸二次规划。此时解只由压在边界上的少数点决定,移动带外的样本不影响结果,这就是 支持向量决定分类边界;它既是稀疏性的来源,也是模型对远端异常点不敏感的原因。
允许犯错:软间隔
真实数据常有重叠,硬间隔会无解。为每个样本加一个非负的松弛变量 ξ_i,约束放宽为 y_i(ω^T x_i+ω0)≥M(1−ξ_i),目标加上 C∑ξ_i,就得到 松弛变量允许样本越界。ξ 的含义要分清:带外分对为 0,带内但同侧介于 0 与 1 之间(未错分),越到对侧才大于 1,是真正的错分。绝对距离写法更自然却更难求解,故通行相对形式。
C 是这套模型唯一的调节旋钮:C=∞ 时不允许任何越界,退回线性可分;C 增大则边界迁就难分点,间隔收窄;C 减小则容忍更多错分,间隔变宽。它是偏差与方差的权衡,需要交叉验证确定,见 惩罚系数 C 控制容忍度。
对偶与支持向量
引入拉格朗日乘子并对原变量求导置零,可得 ω=∑α_i y_i x_i,问题化为只含 α 的凸二次规划,约束为 0≤α_i≤C 与 ∑α_i y_i=0。KKT 条件把样本分成三类:α=0 的在带外,无贡献;0 小于 α 小于 C 的恰在边界上;α=C 的在带内或已错分。第一类是绝大多数,第二类才是通常所说的支持向量,第三类揭示哪些点被放弃。ω0 由边界上的点计算,取平均可减少数值不稳。求解算法以 SMO 为代表,见 对偶求解与三类支持向量。
非线性:升维与核
一维中无法用一个点分开的点,做 x→x² 后就能用直线分开。一般地,把 x 映射为 h(x) 到高维空间能改善可分性,但显式计算高维内积代价过高。对偶形式中 h 只以内积出现,于是可用 K(x,x′)=⟨h(x),h(x′)⟩ 直接给出内积,不必写出 h,这就是 核技巧绕开显式映射。常用的核有线性核、多项式核、径向基核、高斯核与神经网络核,多项式核的 d 控制交互阶数,径向基核的 γ 控制局部影响范围,选择要靠数据形态与交叉验证,见 常用核函数一览。
损失视角与回归
把软间隔目标乘以 1/C 整理,可写成合页损失加 L2 罚:min ∑[1−y f(x)]_+ + (1/C)‖ω‖²/2。合页损失在 y f>1 时为零,否则线性增长,因此 SVM 也是正则化的函数估计,其总体最优解对应后验概率的一种估计形式,见 合页损失与正则化视角。把这一思路用于连续响应,就得到以 ε 不敏感损失为基础的回归:误差在 ε 内不计,管外才线性惩罚,只有管外或边界上的点成为支持向量,核函数同样适用,见 ε不敏感损失与SVR。
上机验证
Glass 数据用 9 个化学成分特征判定玻璃类别,按 7∶3 划分后,线性核与径向基核的测试准确率都是 61.5%,多项式核只有 46.2%,且线性核用了 110 个支持向量,说明类别重叠严重、模型主要在区分样本最多的两类,见 Glass数据三种核对比。LIBSVM 案例重在工程细节:稀疏的「标签 索引:值」格式、svm_train 的 -s/-t/-c/-g 参数、svm_predict 的三元返回。HAR 数据有 561 个特征,线性核达 96.40%,多项式核 90.77%,再次说明高维特征下简单核往往够用,见 LIBSVM格式与HAR实战。
两种读法的合流
几何读法把 SVM 看成最宽隔离带的求解,便于解释间隔、支持向量与核;代数读法把它看成合页损失加罚,便于与 Logistic 回归、岭回归比较。二者给出同一解,共同解释了为什么一个只依赖少数边界点的模型能在高维小样本上工作,见 几何与代数两种读法。
第8章 聚类分析
没有标签,“同类”必须先被定义 聚类是无监督学习:没有训练目标、没有因变量,只有 n 个样本的 p 个特征,任务是把样本分成若干类,使类内相似、类间相异,客户细分与空间分组都依赖它。与有监督方法最大的差别是模型没有正确答案可对照,因此“相似”必须由分析者先写成可计算的度量——这就是本章从距离开始的原因。
距离是第一个决定 把样本看成 m 维空间的点,相似度就化为点间距离。欧氏距离是差向量的 L2 范数;加权欧氏距离先把每维除以该维标准差 si 再求欧氏距离,用来抵消量纲(欧氏距离与加权欧氏)。马氏距离用协方差矩阵的逆对坐标做伸缩与旋转,能处理特征间的相关性(马氏距离扣除协方差)。曼哈顿距离取各维绝对差之和、切比雪夫距离取各维差的最大值,二者只涉及加减,整数坐标下无浮点误差,原文还借曼哈顿逐条验证了非负性、对称性与三角不等式(曼哈顿与切比雪夫距离)。余弦相似度只看夹角、丢弃长度,适合比较评分与兴趣方向(余弦相似度只看方向)。选哪一种,取决于“差异”在业务上指什么。
从点到类 仅有点距还不能聚类,必须定义类距:单连接取最近点对,全连接取最远点对,平均连接取全部点对的均值,换一种连接,类间亲疏的判断就变(类间距离的三种连接)。层次聚类把这套类距反复使用:AGNES 每次合并最近的两类,DIANA 每次把一个类劈成两个;前者 O(n²log n) 但合并不可撤销,后者要面对 2^(n−1)−1 种二分方式只能启发式近似(层次聚类两条路线)。两者都不预设 K,K 由切树位置决定,但切在哪里缺乏统一标准。
K 均值:先给 K,再迭代 K 均值把“类内平方和最小”当作目标,精确求解是 NP-hard,于是用 Lloyd 迭代逼近:随机初值、按最近中心划分、以类均值更新、直到中心稳定(K均值与Lloyd迭代)。复杂度 O(knml) 保证它可用,代价是结果依赖初始中心、K 必须由人给定。
EM:把硬划分换成概率 高斯混合模型把每个类看成一个正态分布,配上先验权重,样本的类属变成未观测的潜变量。E 步用贝叶斯公式算后验,M 步以后验为权重更新均值、协方差与权重,交替至收敛后取后验最大的类(EM聚类是软划分)。它输出归属概率,协方差让各类形状可以不同;思想与 K 均值同源,但似然面多峰,初值仍重要。
DBSCAN:把类定义成密度连通 DBSCAN 不找中心,先按 ε 与 MinPts 把点分成核心点、边界点与噪声点(DBSCAN用密度定类),再用直接密度可达、密度可达、密度相连三级关系把核心点串成类。前两个关系不可逆,只有密度相连对称,类正是密度相连点的最大集合(密度可达与密度相连)。于是类可呈任意形状、不必给 K、还能标出噪声;代价是参数难定,密度不均时一组 ε 与 MinPts 兼顾不了疏密两种区域。
高维:让特征带上权重 p 很大时,多数特征与类无关,全部参与只会稀释信号。稀疏聚类给每个特征权重 ωj,在 ‖ω‖₁≤s 下最大化加权准则,ωj=0 即该特征退出聚类,机制与 Lasso 同源(稀疏聚类加权准则)。K 均值版本把目标换成加权 BCSS,交替“固定权重跑加权 K 均值”与“固定划分用软阈值更新权重”(稀疏K均值的交替解);层次版本先学出加权距离矩阵再做普通层次聚类,绕开切树位置的不确定性(稀疏层次聚类)。s 由此成为控制稀疏程度的旋钮。
双向:行列一起动 基因×条件、用户×商品这类矩阵,值得问的不是“哪些行相似”,而是“哪些行在哪些列上相似”。双向类 (G,C) 是行子集与列子集的组合,在二分矩阵上要求子矩阵全为 1;BIMAX 只保留最大包含类,用“重排把 1 挤到右上、再二分切块”的方式找出它们,在稀疏矩阵上尤其省时(双向聚类与BIMAX)。双向类可以重叠,不构成划分,这与所有单侧聚类都不同。
上机实践验证了什么 Iris 用四个花萼花瓣变量、留 Species 作外部检验:全连接层次切 3 类错 24 个,K 均值错 16 个,说明在两个近邻类的边界上不可撤销的合并更吃亏(Iris层次与K均值对比);DBSCAN 在 eps=1.5、MinPts=30、标准化后只得到 2 类加 3 个噪声,把连续过渡的两类连成一片,说明“不用给 K”并不等于“类数正确”(Iris的DBSCAN参数)。Musk 的 166 个描述量经稀疏 K 均值只剩 108 个非零权重,验证高维下确有大量无关变量(Musk稀疏聚类上机)。BicatYeast 的 419×70 矩阵先 binarize,再用 BIMAX 找到 20 个尺寸受限、彼此重叠的双向类(基因数据的BIMAX上机)。
贯穿全章的几组权衡 是否要预先给 K;类形状能否非凸;输出是硬标签还是概率;是否显式处理噪声;维度是否远大于样本量;聚类对象是只有行,还是行列都要动。同一份数据换距离、换连接、换参数,结论就会改变;无标签时没有错分率可算,评价只能靠稳定性、可解释性与领域知识,这正是聚类比有监督学习更需交代依据之处。
原书依据 · 18 处
- 第8章 聚类分析 · 查看原书依据
- 第8章 聚类分析 · 查看原书依据
- 第8章 聚类分析 · 查看原书依据
- 第8章 聚类分析 · 查看原书依据
- 第8章 聚类分析 · 查看原书依据
- 第8章 聚类分析 · 查看原书依据
- 第8章 聚类分析 · 查看原书依据
- 第8章 聚类分析 · 查看原书依据
- 第8章 聚类分析 · 查看原书依据
- 第8章 聚类分析 · 查看原书依据
- 第8章 聚类分析 · 查看原书依据
- 第8章 聚类分析 · 查看原书依据
- 第8章 聚类分析 · 查看原书依据
- 第8章 聚类分析 · 查看原书依据
- 第8章 聚类分析 · 查看原书依据
- 第8章 聚类分析 · 查看原书依据
- 第8章 聚类分析 · 查看原书依据
- 第8章 聚类分析 · 查看原书依据
第9章 推荐系统
问题:信息过载时推什么 推荐系统是信息拥有者向受众做有选择推送的系统,服务器依据观看记录、购买点击和位置,从海量物品中筛出少数呈现给用户,目标是在正确的时间地点把正确的东西给正确的人,这也是精准营销的核心。它面对的输入是一张 N×M 的评分矩阵 R,元素 r_ui 表示用户 u 对物品 i 的行为或评分,绝大多数格子缺失。信息过载下的选择推送
两条找邻居的路线 最直接的做法是借他人的经验:用户邻域与物品邻域。基于用户是找与目标用户口味相近的人,把邻居喜欢而目标用户没接触过的物品推过去;基于物品是找与目标物品被相似人群打出相似分数的物品,把用户已喜欢物品的“近亲”推过去。“喜欢”可以是打分,也可以是浏览、关注、点击、购买。两者都以局部相似度为核心,邻居就是评分向量距离近的对象。
预测一个缺失格 邻居评分的加权平均给出最基本的形式:取评价过该物品的邻居评分的平均;若相似度不同,就以 ω_uv 加权,分子保留正负号让反向邻居拉低预测,分母取绝对值只做归一。不同人的打分刻度不同,评分标准化与中心化用函数 h 把分数映射到统一区间,预测后再用反函数还原,用户均值中心化、物品均值中心化与 Z 评分分别去掉位置偏差和尺度偏差。若评分是“好中差”这类离散等级,离散评分的示性投票改为对每个等级累计邻居票数,取票数最高者。
邻居选谁、相似度怎么算 邻居选择的三条准则决定谁有投票权:Top-M 固定规模,阈值筛选随数据自适应,负向过滤剔除明显不相似者;M 过大引入噪声,过小则预测不稳。余弦与Pearson相似度给出两种连续评分的度量:余弦用各自评分向量的模长归一,Pearson 先减个人均值再算相关,因此后者对打分宽严不敏感。0–1 行为数据不能把 0 当负例,0-1数据的Jaccard指数只计算共同为 1 的交集与并集之比。相似度还会被证据量误导,小样本相似度的收缩修正按共同评分数打折,并用类似 IDF 的权重提升冷门物品的信息量。
从局部走向全局 邻域法的困难在于大数据的两两计算与稀疏用户的邻居不足,邻域法局限与矩阵分解由此转向潜在因子:把用户和物品都压到 K 维空间,评分近似为 q_iᵀp_u,K 远小于用户数与物品数,本质是降维。SGD训练与基准正则化在观测评分上最小化平方误差,用 μ+b_u+b_i 吸收整体水平和用户物品偏差,用 L2 惩罚抑制过拟合;ALS交替最小二乘固定一侧解另一侧的二次凸问题,交替至收敛。SVD++融合隐式反馈把浏览、收藏等行为对应的物品因子汇入用户表示,弥补显式评分稀疏。概率矩阵分解PMF则给因子加正态先验,最大化后验等价于带 Frobenius 范数惩罚的最小二乘,受限版本还用矩阵 W 把“评过相似物品的人口位相近”写进结构。
在 Jester 上验证 Jester数据与评分分布说明数据形态:5 000 用户、100 个笑话、36 万余条 −10 到 +10 的评分,密度 72.42%,直方图显示正分多于负分、各分数段较均匀。三模型对比UBCF最优用 70% 用户训练、30% 测试,每个测试用户给 10 条已知评分,比较 UBCF、IBCF 与 SVD 的 RMSE,得到 4.68、4.968、5.318,用户邻域法在该稠密数据上最好。
两种范式的分工 邻域法用局部相似度直接解释“因为和你相似的人喜欢”,可解释性强,适合评分稠密、邻居充足的场景;矩阵分解用全局低秩结构外推缺失格,参数随观测数线性增长,适合大规模稀疏数据,但因子需要事后解释。两者并非替代关系:标准化与基准项处理的是同一类用户物品偏差,SVD++ 又把邻域式的行为证据重新引入因子模型。真正的边界在于输入:完全没有任何行为的新用户或新物品,邻域找不到邻居,分解也无从定位,冷启动仍需借助内容信息。
第10章 大数据案例分析
两个案例共用的问题骨架
两个案例的数据都在 10G 量级,都先回答“这批数据能描述什么”,再回答“能不能预测”,最后回答“该怎么分组、怎么决策”。区别在数据结构:智能手机数据是“人×应用×时间”的行为流水,天然适合聚类与推荐;航空数据是“航线×时间”的事件记录,核心是延误成因与机场功能分层。两节都给了单机(Python、MySQL、R)与分布式(Hive、Spark MLlib)两套实现,工具随规模变,方法逻辑不变。
先定义什么算缺失
整日无记录不等于没使用 是 10.1 的地基:48 179 名用户里只有 9 700 人零缺失,近一半人缺失少于 5 天,缺失本身就是活跃度信号,所以后面所有“日均”都除以有效观测天数。原始流水无法横向比较用户,三层汇总得到强度矩阵 把 uid×appid 的明细先映射到 a~t 类别,再按天汇总、跨 30 天累加,最后加 1 取对数,得到 48 179×20 的强度矩阵,相关分析与聚类都建在它上面。f、g、c、d、t 强度最高,a 与 f 各自与一批类别强相关,形成较固定的应用搭配。
预测任务与它的评价基准
用前23天预测后7天 给出了时间切分的完整套路:删掉没有特征的用户 571 人与标签不可信的用户 3 223 人,剩 44 385 人;分类标签大致均衡,随机森林准确率 81.77%,回归 NMSE 0.621。NMSE 的价值在于它拿“用均值预测”当 1,模型必须显著小于 1 才算有用。但 五成缺失仍插补中位数合理吗 指出这个 81.77% 不是无条件上限:x1~x2 缺失 50.56%,中位数插补会把“没发生”变成“中等强度”,若缺失与标签相关,信号会被系统性削弱,需要用缺失指示变量或敏感性分析兜底。
分组:从硬划分到可重叠的块
组间方差占比决定K的取值 用肘部规则选 K=8,比值 0.32 同时说明二十类应用只解释了三成差异,硬划分必然损失信息。双向聚类允许部分属性相似 因此换思路:按列中位数二值化后用 BCBimax 找可重叠的“人—应用”块,第一次得到 11 320 人次、涉及 6 类应用,第二次补出 c、k、p、t 的组合,行列都不排他,人数不能相加。视角再收窄,RFM移植与四类人群 只描述一款 APP 的行为,用最近一次使用、使用频率、单次强度三个标准化指标分出忠诚、频繁、轻度、流失四类,组间方差占比 76.1%;越是聚焦单一对象,行为结构越干净,也越容易对应到具体的运营动作。
推荐系统的三重约束
稀疏矩阵上的协同过滤 同时被稀疏性、可比性与可评价性约束:几万款 APP 只留 2 542 款常用的,48 139 人的矩阵只有约 2% 非零,必须稀疏存储;各类 APP 强度不同,评分要按列标准化;评价要按 90⁄10 切分且每人至少 10 个评分。两种协同过滤的推荐差异 说明两种方法的差别不是精度而是目标:IBCF 推 t 类贴合该用户 334 728 秒的真实偏好,是深耕;UBCF 推 c 类来自相似人群的探索,是破圈。单机与Spark结果对齐 用 82.16% 对 81.77%、NMSE 0.602 对 0.621、类中心相似、ALS 的 RMSE 2.49 说明换引擎不改变结论,但要靠交叉表验收。
10.2 的胜负手在特征
把机场天气爬回来 是航空案例最关键的一步:航班表本身不含天气,需按“时间加机场”把气温、露点、能见度、云量拼到每条航班上,并把微量降水 T 处理为 0。二十一年表合成一张表 体现工程细节:Shell 去表头纵向拼接、MySQL 入库聚合、先用少数年份跑通。延误率与平均延误的错位 则提醒平均值会掩盖长尾:延误率接近 50%,平均出发延误却只有 5~11 分钟,所以建模把 ArrDelay 大于 0 转成二分类而非直接回归分钟数。
非线性证据与机场分层
线性模型为何在延误上失灵 是方法选择的直接证据:随机森林 86.26%,径向核 SVM 接近,Logistic 与线性核明显更差,说明延误由阈值与交互驱动。机场侧,机场聚类的五个特征 用比例化、对数化、零值替换、标准化四步把 338 个机场压成五个可比指标;K=3 时轮廓系数最大、组间方差占比 0.439,三类机场与外部验证 进一步用 2012 年吞吐量前 29 名中 26 个全部落入第三类来验证聚类有效。把航线网络当成图 再往前一步:机场为点、航线为边、平均飞行时间或飞行加等待为权重,先过滤“后段起飞晚于前段到达”的可行联程,再用 Dijkstra 得到 JFK 经 CVG 到 ANC 的最短耗时路径。
数据更多不等于问题更简单
数据更多问题反而更难 是本章最有价值的一次反证:单航线 86.26%,全美 2000—2008 年 4.85 千万条完整样本只有 60.51%。异质性随样本量一起放大,分层建模比继续堆数据更有效,数据量与问题难度不是同一条曲线。
前九章方法如何组合
两个案例没有引入新方法,全部来自前九章:缺失与描述统计打底,随机森林(第 5 章)同时承担分类与回归,K 均值与双向聚类(第 8 章)完成用户与机场分层,协同过滤(第 9 章)做推荐,模型评价(第 4 章)用准确率、NMSE、轮廓系数与混淆矩阵横向比较,图算法补上路径决策。案例章新增的不是算法,而是顺序感:口径与清洗决定特征,特征决定模型上限,评价基准决定结论能否被相信。
原书依据 · 18 处
- 第10章 大数据案例分析 · 查看原书依据
- 第10章 大数据案例分析 · 查看原书依据
- 第10章 大数据案例分析 · 查看原书依据
- 第10章 大数据案例分析 · 查看原书依据
- 第10章 大数据案例分析 · 查看原书依据
- 第10章 大数据案例分析 · 查看原书依据
- 第10章 大数据案例分析 · 查看原书依据
- 第10章 大数据案例分析 · 查看原书依据
- 第10章 大数据案例分析 · 查看原书依据
- 第10章 大数据案例分析 · 查看原书依据
- 第10章 大数据案例分析 · 查看原书依据
- 第10章 大数据案例分析 · 查看原书依据
- 第10章 大数据案例分析 · 查看原书依据
- 第10章 大数据案例分析 · 查看原书依据
- 第10章 大数据案例分析 · 查看原书依据
- 第10章 大数据案例分析 · 查看原书依据
- 第10章 大数据案例分析 · 查看原书依据
- 第10章 大数据案例分析 · 查看原书依据
跨章综合
线索一:约束复杂度的手段是同一套工具箱在不同地方的反复使用。岭回归给系数加 L2 罚、Lasso 加 L1 罚、决策树用代价-复杂度剪枝、支持向量机用最大化间隔、神经网络用权重衰减与 dropout、稀疏聚类给变量加权——形式上差别很大,作用却一致:给”模型能有多复杂”设一个上限,用一点偏差换更多方差。理解了这个共同点,就不必把每种方法的正则化当成孤立技巧来背。
线索二:误差估计的可信度决定了所有结论的可信度。第 4 章讲清交叉验证必须把筛选、调参都放进折内,否则测试折被”看过”,估计就偏乐观。这条纪律在后面每章的上机实践里都能看到影子:第 5 章用交叉验证选树的复杂度、第 6 章用验证集挑隐层数、第 9 章比较邻居数与潜在因子数——它们能比较的前提,是评价口径本身没被污染。第 10 章的案例更进一步:连”口径”(什么算缺失、什么算一次使用)都需要先定义清楚,否则准确率再高也没有意义。
线索三:生成式与判别式、局部与全局,是两组反复出现的对照。线性分类里 Logistic 回归(判别式)与 LDA(生成式)的差别,在第 5 章的组合方法与第 6 章的深度网络里以另一种形式重现:前者直接优化判别目标,后者先学数据的表示再判别。聚类里 K 均值(局部、硬划分)与 EM 聚类(概率、软划分)、推荐里邻居法(局部相似)与矩阵分解(全局潜在结构),也是同一组对照。书中没有把这组对照写成一条定理,但每次出现都在提醒:假定更强的模型样本效率更高,假定更弱的模型更稳健,选择取决于你对数据的把握。
发散与实践
读书的落点不在记住方法,而在下一次拿到数据时少犯一个错。围绕本书最耐久的四条纪律,另写了四张实践卡(ideas/ 目录,不进知识卡库):
- 交叉验证纪律自查(第 4 章):把一个真实项目从原始数据到指标的每一步标注“是否看过响应变量”,把筛选、调参、阈值选择全部移进折内重跑,对比修正前后的指标。它检验的是第 4 章那个 3.4% 与 48.68% 的差距在自己手上是否存在。
- 岭迹诊断共线性(第 2 章):对一个解释性回归问题画岭迹图,找出随惩罚增大迅速收缩或符号翻转的变量,回到相关系数矩阵确认共线性来源,从而判断哪些系数不可用于解释。
- 稳定性检验复核结论(第 1 章):对一条准备据以行动的结论做 20 次二次抽样复核,看方向与效应量是否稳定,据此决定结论升级还是降级为“待验证”。
- 聚类个数与结果复核(第 8 章):在真实分群数据上把 K 从 2 试到 10,同时记录组内平方和、轮廓系数与多次随机种子下的归属一致率,用“判据 + 稳定性”两列共同决定 K。
以上只是计划交付:卡片写清了行动步骤、可检查产出与复盘判据,尚未执行,不声称已获得任何验证结果。读者延伸一句:本书的 R 实践可以照抄,但把“为什么用这个损失、这个惩罚、这个评价口径”讲清楚,才是它区别于调包教程的地方。