此笔记位置已失效,请从目录继续阅读。
全书导读
本书面向产品经理,用“100 个案例”的写法把机器学习从入门到前沿串成一条可理解的路径。全书大体分三段:前 3 章建立数据思维——什么是机器学习、如何准备数据、如何看懂手上的数据;第 4 到 10 章逐一讲主流算法——回归、决策树、朴素贝叶斯、神经网络、支持向量机、集成学习、降维;第 11 到 13 章进入深度学习应用——图像识别与卷积网络、自然语言处理与循环网络、AI 绘画与生成对抗网络。几乎每章末尾都有“产品经理的经验之谈”,把算法原理落回业务判断。阅读时先抓住每章要解决的现实问题,再看算法如何回应,最后体会产品经理该如何在技术与业务之间取舍。
全书主线
贯穿全书的主线是“用数据解决问题的完整链条”:先确认问题是否适合用机器学习,再把原始数据清洗、集成、变换成可用特征,用可视化和评价指标看懂数据分布与模型表现,然后按问题类型选择合适算法——预测用回归、分类用决策树与朴素贝叶斯、复杂边界用支持向量机与集成、高维数据先降维,最后在图像、文本、生成等具体场景里用深度学习方案落地。算法选择不是孤立的:数据质量决定上限,评价指标决定优化方向,业务约束决定取舍。产品经理的价值正在于理解这条链条的每个环节,知道什么场景用什么方法、什么时候该停手。
第1章 机器学习入门
本章是机器学习的入门总览,围绕是什么、能不能做、怎么做、有哪些类型四层问题展开。
先说概念。机器学习的三个核心角色可以用人类学习来类比(见 人类学习与机器学习的类比):数据对应书籍字帖、学习算法对应听说读写、模型对应习得的技能。落地时这三者构成 机器学习三要素——数据是原料,算法是开采策略,模型是最终产出,缺一不可。产品经理尤其要理解机器学习的最大价值:它能在更短时间内发现人类看不到的规律,并持续迭代优化。
再说适用边界。不是所有问题都值得用机器学习,要先用 机器学习的三个必备条件 来筛选:有规律可学、编程难以实现、有足够数据。满足条件的典型任务包括回归、分类、聚类等:回归用特征预测连续值(回归:连续值预测),分类用特征加标签判断离散类别(分类:离散值与标签),聚类则在无标签情况下按相似度自动成簇(聚类:无标签的簇)。这些任务本质上大多在解决类别归属问题。
接着说过程。生成模型经历 机器学习三阶段流程:准备数据、建立模型、应用模型,其中数据预处理最耗时也最关键。训练模型的内核是 模型训练的本质——在假设函数集合中寻找最接近理想函数的近似,把差距写成损失函数并求其最小值。理解这一点,才能明白后续章节构造损失函数与求最优解的动机。
然后是类型。按数据有无标签,机器学习分为有监督、无监督、半监督与强化学习:有监督学习 用带标签数据学映射;无监督学习 从无标签数据中发现潜在结构;半监督学习 用海量无标签数据辅以少量标注提升效果;强化学习 则靠环境反馈与延时奖励不断试错。四者无优劣之分,只是场景不同。
最后落到人的角色。产品经理在机器学习全流程的协同 指出,产品经理是需求与开发的桥梁,既要关注模型精度,更要关注上线后的应用效果,把业务理解转化为数据与优化方向。
原书依据 · 13 处
- 机器学习入门 1.1.1 人类学习VS机器学习 · 查看原书依据
- 机器学习入门 1.1.2 机器学习三要素 · 查看原书依据
- 机器学习入门 1.2.1 必备条件 · 查看原书依据
- 机器学习入门 1.2.2 机器学习可解决的问题 · 查看原书依据
- 机器学习入门 1.2.2 机器学习可解决的问题 · 查看原书依据
- 机器学习入门 1.2.2 机器学习可解决的问题 · 查看原书依据
- 机器学习入门 1.3.1 机器学习的三个阶段 · 查看原书依据
- 机器学习入门 1.3.1 机器学习的三个阶段 · 查看原书依据
- 机器学习入门 1.4.1 有监督学习 · 查看原书依据
- 机器学习入门 1.4.2 无监督学习 · 查看原书依据
- 机器学习入门 1.4.3 半监督学习 · 查看原书依据
- 机器学习入门 1.4.4 强化学习 · 查看原书依据
- 机器学习入门 1.5 产品经理的经验之谈 · 查看原书依据
第2章 数据的准备工作
第2章《数据的准备工作》围绕“如何让数据成为模型的优质燃料”展开,分为数据预处理与特征工程两大板块,最后落到产品经理的协作经验。
先说概念。数据预处理是把原始数据加工成可建模数据的过程,其必要性来自一句关键判断:数据与特征决定上限,算法只是逼近上限,可用数据与特征决定上限概括。它包含数据预处理的四步骤——清洗、集成、变换、归约。清洗是第一步,遵循数据清洗的一般步骤(格式标准化、错误纠正、异常处理、去重),其中缺失值与噪声各有讲究:缺失值的删除与插补比较了删除、均值/中位数填充与算法推测,异常噪声的识别与平滑讲了均值法、聚类法找噪与平滑去噪。数据集成整合多源数据把分散数据库合为统一存储并处理命名、冗余与值冲突;数据变换的常用方法用标准化、区间缩放、二值化让特征可比易懂;数据归约与维归约则像无损压缩,在保持含义的前提下精简数据。
再说特征工程。特征工程的本质与组成指出它是数据转化,包含构建、提取、选择三部分,关键在于是否改变特征空间。特征构建与四则运算用四则运算、属性分割/结合人工造出有物理意义的新特征。当特征过多时,过拟合与降维的必要性解释了为何要降维:特征多于样本会让模型在训练集上“太完美”而在新数据上失效。降维的代表是PCA无监督与LDA有监督的降维目标——前者不看标签、追求方差最大,后者带标签、追求类别可分。筛特征则靠特征选择三方法的比较,依据发散性与相关性,在过滤法、封装法、嵌入法间权衡,并需迭代用模型验证。
最后看关联。预处理解决“数据能不能用、好不好用”,特征工程解决“数据能不能表达更多价值”,二者前后衔接:清洗与集成保证数据干净完整,变换与归约提升效率,特征构建与提取选择则在此之上挖掘信息。贯穿两者的主线是“质量与成本平衡、经验与验证结合”:归约要权衡时间与精度,变换不能滥用,特征选择须模型验证。章末经验之谈强调,产品经理不能把数据丢给工程师就坐等结果,而应把业务经验注入特征判断与组合规则,与工程师协作才能让数据与特征真正逼近乃至抬高质量上限。
原书依据 · 13 处
- 数据的准备工作 2.1.1 为什么要做数据预处理 · 查看原书依据
- 数据的准备工作 2.1.1 为什么要做数据预处理 · 查看原书依据
- 数据的准备工作 2.1.2 数据清洗 · 查看原书依据
- 数据的准备工作 2.1.2 数据清洗 · 查看原书依据
- 数据的准备工作 2.1.2 数据清洗 · 查看原书依据
- 数据的准备工作 2.1.3 数据集成 · 查看原书依据
- 数据的准备工作 2.1.4 数据变换 · 查看原书依据
- 数据的准备工作 2.1.5 数据归约 · 查看原书依据
- 数据的准备工作 2.2.1 如何进行特征工程 · 查看原书依据
- 数据的准备工作 2.2.2 特征构建 · 查看原书依据
- 数据的准备工作 2.2.3 特征提取 · 查看原书依据
- 数据的准备工作 2.2.3 特征提取 · 查看原书依据
- 数据的准备工作 2.2.4 特征选择 · 查看原书依据
第3章 了解你手上的数据
第3章《了解你手上的数据》围绕一个核心判断展开:在建模型之前,产品经理必须先真正读懂手上的数据,因为数据质量决定机器学习的效果。全章沿数据是什么、如何看数据、如何评价模型三条线推进。
第一条线是数据基础。开篇用传统编程与机器学习的对比说明思维转变:前者是人写规则、机器执行,后者是人给数据和算法、机器自主学习规律,其理论根基是相关而非因果,这正对应从程序逻辑到数据统计。在数据集三划分防过拟合中,训练集学习、验证集调超参、测试集验性能,三者分工是为了防止模型只认训练数据;其中普通参数随训练更新、超参数人为固定,区别见普通参数与超参数之别。当样本太少难以划分时,小样本的K折交叉验证给出了打乱分K份、轮流训练验证的操作。数据不是越多维度越好,维数灾难:特征非越多越好用猫狗分类与银行贷款案例说明特征过多反致过拟合。关于数据类型,数值型:连续与离散区分了测量得到的连续值与计数得到的离散值,而类别型数值化的陷阱提醒:把高中低转成123只是便于区分,运算并无意义。
第二条线是直观查看数据。表格难见特征关系,故用可视化。直方图与柱状图之别指出直方图展示连续型数据分布、柱状图展示离散型数据;散点图观察特征关系则说明如何用坐标点发现两变量联系、协方差与离群点。
第三条线是模型效果评价,也是本章重点。混淆矩阵四象限定义了TP、TN、FN、FP,是理解其余指标的基础。准确率的样本失衡陷阱指出整体正确率会掩盖类别差异、在正负样本极不平衡时失效。为破解单一视角的局限,精确率与召回率的拉锯揭示了查准与查全的矛盾及地震、垃圾邮件两类场景的取舍;F值:精确与召回的调和用加权调和平均综合二者,令a=1得F1。ROC曲线:阈值无关展示以FPR、TPR为坐标展示阈值变化的影响,且对样本分布变化稳健;AUC:排序能力的概率则以ROC曲线下面积给出单一数值,反映模型排序能力。
三条线最终在产品经理的经验之谈汇合:了解数据特性,才能像懂食材的厨师一样,在业务难题中快速找到突破口。
原书依据 · 15 处
- 了解你手上的数据 3.1.1 机器学习的数据统计思维 · 查看原书依据
- 了解你手上的数据 3.1.2 数据集 · 查看原书依据
- 了解你手上的数据 3.1.2 数据集 · 查看原书依据
- 了解你手上的数据 3.1.2 数据集 · 查看原书依据
- 了解你手上的数据 3.1.3 数据维度 · 查看原书依据
- 了解你手上的数据 3.1.4 数据类型 · 查看原书依据
- 了解你手上的数据 3.1.4 数据类型 · 查看原书依据
- 了解你手上的数据 3.2.1 直方图 · 查看原书依据
- 了解你手上的数据 3.2.2 散点图 · 查看原书依据
- 了解你手上的数据 3.3.1 混淆矩阵 · 查看原书依据
- 了解你手上的数据 3.3.2 准确率 · 查看原书依据
- 了解你手上的数据 3.3.3 精确率与召回率 · 查看原书依据
- 了解你手上的数据 3.3.4 F值 · 查看原书依据
- 了解你手上的数据 3.3.5 ROC曲线 · 查看原书依据
- 了解你手上的数据 3.3.6 AUC值 · 查看原书依据
第4章 趋势预测专家:回归分析
本章从“有监督学习的两大场景”切入,先讲清回归与分类之辨:回归预测连续值,分类预测离散值,而“回归分析”这一算法名并不意味着只能做回归,逻辑回归正可用于分类。随后给出回归分析是什么的统计学定义——用回归方程刻画自变量与因变量的相关关系并预测未来变化,并用数列找规律帮助建立直觉。 沿着“由简到繁”的脉络,本章先讲一元线性回归:用 y=ax+b 在散点中拟合一条最接近所有点的直线。但现实中没有直线能穿过所有样本点,于是引入误差项,把问题变成让残差和最小,这就引出最小二乘估计——利用“极值处偏导为 0”求出参数 a、b。当影响因素不止一个时,推广到多元线性回归,用向量 w 和 b 描述高维空间中的超平面;此时“远近”难以用几何距离衡量,便用均方误差与损失函数来定义模型好坏的评判标准。 模型拟合好坏需要量化评价。本章用判定系数R2衡量拟合程度,并把样本波动拆成偏差平方和三分解:SST=SSR+SSE,即总波动由“函数可解释部分”和“不可解释部分”组成,R² 越接近 1 拟合越好。产品经理还可借用这一思路量化新功能的业务价值。 进入分类场景后,先用阈值分类的局限说明为何在线性回归上加阈值做二分类会失效——0.5 处的跃阶让模型过于敏感。破题之道是输出概率而非硬标签:Sigmoid函数把任意输入光滑映射到 0 到 1,于是有了逻辑回归概率输出,判定边界更柔和、能处理非线性可分数据。但分类问题若沿用均方误差会得到非凸函数,因此改用最大似然估计构造碗状凸损失函数。 最后是求解工具:梯度下降法像旅客在浓雾中下山,沿负梯度方向一步步逼近最低点,学习率控制步长;由于可能陷入局部最优,演化出批量、随机、小批量三种方式,其中三种梯度下降法里的小批量因兼顾稳定性与计算量而最常用。整章从“是什么”到“怎么拟合”“如何评价”“如何求解”层层递进,构成回归分析的完整知识链。
原书依据 · 14 处
- 趋势预测专家:回归分析 4.1 什么是回归分析 · 查看原书依据
- 趋势预测专家:回归分析 4.1 什么是回归分析 · 查看原书依据
- 趋势预测专家:回归分析 4.2.1 一元线性回归 · 查看原书依据
- 趋势预测专家:回归分析 4.2.1 一元线性回归 · 查看原书依据
- 趋势预测专家:回归分析 4.2.2 多元线性回归 · 查看原书依据
- 趋势预测专家:回归分析 4.2.2 多元线性回归 · 查看原书依据
- 趋势预测专家:回归分析 4.3 如何评价回归模型的效果 · 查看原书依据
- 趋势预测专家:回归分析 4.3 如何评价回归模型的效果 · 查看原书依据
- 趋势预测专家:回归分析 4.4.1 从线性到非线性 · 查看原书依据
- 趋势预测专家:回归分析 4.4.2 引入Sigmoid函数 · 查看原书依据
- 趋势预测专家:回归分析 4.4.2 引入Sigmoid函数 · 查看原书依据
- 趋势预测专家:回归分析 4.4.2 引入Sigmoid函数 · 查看原书依据
- 趋势预测专家:回归分析 4.5.1 梯度下降原理 · 查看原书依据
- 趋势预测专家:回归分析 4.5.2 梯度下降的特点 · 查看原书依据
第5章 最容易理解的分类算法:决策树
本章围绕决策树展开,先建立直觉,再讲构造原理,最后落到算法演进与产品应用。决策树把一个问题逐层拆成一连串判断题(决策树:逐层分解的选择题),其结构由根节点、内部节点和叶节点构成,根到叶的一条路径就是一组属性值到类别的映射(决策树的节点与路径结构);信用卡审批案例把这一抽象结构落成可执行的规则(信用卡审批的决策树实例)。
构造一棵树的第一步是特征选择,即决定“先问哪个问题”(特征选择:决策树分裂的关键)。ID3给出了第一套量化标准:用信息熵衡量不确定性(信息熵衡量不确定性),用信息增益=信息熵-条件熵衡量引入特征后不确定性的减少,并借奥卡姆剃刀追求尽量小的树(信息增益与奥卡姆剃刀);有了标准后,自上而下递归生成四步即可长出完整的树(ID3生成决策树的四步流程)。但只生成不修枝会过拟合,于是引入预剪枝与后剪枝的取舍(预剪枝与后剪枝的取舍)。
ID3暴露出三个局限(ID3算法的三个局限),推动算法演进:C4.5用信息增益率的两阶段筛选消除对多取值特征的偏向(C4.5用信息增益率消除偏向),并用二分法离散化连续值、用概率分摊处理缺失值(C4.5的连续值离散与缺失值处理),还用悲观剪枝与C5.0改善性能;CART则改用基尼系数并采用二叉树结构(CART用基尼系数构建二叉树)。三者本质仍是决策树,共享简单可解释的优点与易过拟合、局部最优的局限(决策树的优势与局限)。
最后,决策树思维走出算法本身:它既能帮产品经理组织菜单与信息层级(决策树思维用于产品信息架构),也提示“没有最好的分类器,只有最合适的分类器”——算法价值在于匹配场景。整章的脉络,是从一个生活比喻出发,把“如何做选择”变成一套可量化、可剪枝、可落地的分类方法。
原书依据 · 14 处
- 最容易理解的分类算法:决策树 5.1 生活中的决策树 · 查看原书依据
- 最容易理解的分类算法:决策树 5.2 决策树原理 · 查看原书依据
- 最容易理解的分类算法:决策树 5.2 决策树原理 · 查看原书依据
- 最容易理解的分类算法:决策树 5.3 决策树实现过程 · 查看原书依据
- 最容易理解的分类算法:决策树 5.3.1 ID3算法 · 查看原书依据
- 最容易理解的分类算法:决策树 5.3.1 ID3算法 · 查看原书依据
- 最容易理解的分类算法:决策树 5.3.1 ID3算法 · 查看原书依据
- 最容易理解的分类算法:决策树 5.3.2 决策树剪枝 · 查看原书依据
- 最容易理解的分类算法:决策树 5.4.1 ID3算法存在的问题 · 查看原书依据
- 最容易理解的分类算法:决策树 5.4.2 C4.5算法的出现 · 查看原书依据
- 最容易理解的分类算法:决策树 5.4.2 C4.5算法的出现 · 查看原书依据
- 最容易理解的分类算法:决策树 5.4.3 CART算法 · 查看原书依据
- 最容易理解的分类算法:决策树 5.4.4 三种树的对比 · 查看原书依据
- 最容易理解的分类算法:决策树 5.5 决策树的应用 · 查看原书依据
第6章 垃圾邮件克星:朴素贝叶斯算法
本章以“垃圾邮件克星”为线索,系统讲透了朴素贝叶斯算法。它属于有监督学习,核心是最大概率分类思想:对待分类项估算各类别条件概率,取最大者作为归类结果。为了让这个规则可计算,算法引入了特征条件独立假设——认为各特征彼此无关,这正是它“朴素”的由来,也决定了它在属性多、关联强时会失效,却在文本这类词间关联弱的场景大放异彩。第6.1节用流量预测场景的简约诉求说明:当只需一个倾向性结论时,轻量概率判断比堆样本建决策树更高效。 计算层面,理论概率与实际频率先划清理想长期频率与小样本直觉的界限;主观先验的贝叶斯修正用地铁例子演示“先有先验、再据新信息调整”的认知过程;贝叶斯定理则把P(A)、P(B)、P(B|A)、P(A|B)四者关系形式化,并指出P(A)作为固定分母可忽略。先验后验混淆误判用疾病检测案例警示99%准确率不等于阳性后真患病(仅约9%);贝叶斯迭代与快速验证进一步把这种思维迁移到产品工作,主张小步快跑、快速迭代。 应用层面,宁可放过不可杀错指出垃圾邮件过滤的错误代价不对称,词频统计与条件判定展示如何用词汇库频率、P(S|W)和15词联合概率加0.9阈值落地分类器,朴素贝叶斯三阶段实现把流程拆成准备、训练、应用三步。 提升层面,词袋子模型困境暴露独立性假设丢失词序与词频信息;多项式与伯努利模型以不同粒度(词/文档)缓解词频忽视;拉普拉斯平滑去零概率用“加1”解决数据稀疏导致的零概率。整章从思想、计算、应用到优化层层递进,也提醒我们:理解一个算法,先理解它的前提假设。
原书依据 · 14 处
- 垃圾邮件克星:朴素贝叶斯算法 6.1.2 朴素贝叶斯登场 · 查看原书依据
- 垃圾邮件克星:朴素贝叶斯算法 6.1.2 朴素贝叶斯登场 · 查看原书依据
- 垃圾邮件克星:朴素贝叶斯算法 6.1.1 一个流量预测的场景 · 查看原书依据
- 垃圾邮件克星:朴素贝叶斯算法 6.2.1 理论概率与条件概率 · 查看原书依据
- 垃圾邮件克星:朴素贝叶斯算法 6.2.1 理论概率与条件概率 · 查看原书依据
- 垃圾邮件克星:朴素贝叶斯算法 6.2.2 引入贝叶斯定理 · 查看原书依据
- 垃圾邮件克星:朴素贝叶斯算法 6.2.3 贝叶斯定理有什么用 · 查看原书依据
- 垃圾邮件克星:朴素贝叶斯算法 6.2.3 贝叶斯定理有什么用 · 查看原书依据
- 垃圾邮件克星:朴素贝叶斯算法 6.3.1 垃圾邮件的克星 · 查看原书依据
- 垃圾邮件克星:朴素贝叶斯算法 6.3.1 垃圾邮件的克星 · 查看原书依据
- 垃圾邮件克星:朴素贝叶斯算法 6.3.2 朴素贝叶斯的实现过程 · 查看原书依据
- 垃圾邮件克星:朴素贝叶斯算法 6.4.1 词袋子困境 · 查看原书依据
- 垃圾邮件克星:朴素贝叶斯算法 6.4.2 多项式模型与伯努利模型 · 查看原书依据
- 垃圾邮件克星:朴素贝叶斯算法 6.4.2 多项式模型与伯努利模型 · 查看原书依据
第7章 模拟人类思考过程:神经网络
本章模拟人类思考过程,系统讲解神经网络的原理与常见形态,主线是从生物神经元到人工模型、再到可学习的网络。先要理解什么是神经网络:它是受生物神经系统启发、由大量具有适应性的简单单元广泛并行互连而成的模型,相关定义见神经网络的定义。这种设计的生物学原型来自生物神经元的结构,树突接收、细胞体汇总、轴突输出,超过阈值才被激活。把这一结构数学化就得到MP神经元模型,它包含输入、输出与计算三部分,按权重求和后经激活函数输出。这里有个关键问题:为何不直接比较阈值?答案见为何需要激活函数,没有非线性激活函数,网络恒为线性模型,无法处理现实中的非线性问题。
有了结构还要能学习。感知机的二分类原理介绍了最古老的二分类线性分类算法,用加权求和与阈值比较判定正负样本;而感知机的决策分界说明学习就是在二维找直线、三维找平面、N维找超平面的过程,并用误分类总距离作损失函数、以梯度下降求极小。但感知机有硬伤,异或问题与感知机局限指出它只能处理线性可分数据,无法解决异或,这一缺陷曾让神经网络进入寒冬。
突破来自增加层数。多层神经网络的三层结构描述了输入层、隐藏层、输出层逐层做乘权值、加偏置、激活运算的正向传播流程。参数怎么求?BP误差逆传播算法给出答案:把误差从输出层反向传回,逐层用后一层误差估计前一层,并用梯度下降调权。多层网络因此具备神经网络的四项能力:非线性映射、自学习自适应、泛化与容错。但天下没有免费午餐,BP网络的黑盒与成本提醒我们它解释性弱、需要海量标记样本且算力消耗大。
改进方向之一是RBF。RBF的局部逼近借鉴大脑局部响应,只更新与输入接近的少数神经元,比BP全局更新更高效;而RBF高斯函数与升维揭示根源在于换成高斯激活函数,既实现局部学习,又把低维不可分数据映射到高维以求线性可分。
最后是产品经理与神经网络:产品经理不必谈神经网络色变,掌握其优缺点与局限,才能在业务中广开思路,与工程师协作发挥模型最大价值。
原书依据 · 14 处
- 模拟人类思考过程:神经网络 7.1.1 从生物学到机器学习 · 查看原书依据
- 模拟人类思考过程:神经网络 7.1.1 从生物学到机器学习 · 查看原书依据
- 模拟人类思考过程:神经网络 7.1.2 神经元模型 · 查看原书依据
- 模拟人类思考过程:神经网络 7.1.2 神经元模型 · 查看原书依据
- 模拟人类思考过程:神经网络 7.2.1 基础感知机原理 · 查看原书依据
- 模拟人类思考过程:神经网络 7.2.1 基础感知机原理 · 查看原书依据
- 模拟人类思考过程:神经网络 7.2.2 感知机的限制 · 查看原书依据
- 模拟人类思考过程:神经网络 7.3.1 从单层到多层神经网络 · 查看原书依据
- 模拟人类思考过程:神经网络 7.3.2 巧用BP算法解决计算问题 · 查看原书依据
- 模拟人类思考过程:神经网络 7.3.2 巧用BP算法解决计算问题 · 查看原书依据
- 模拟人类思考过程:神经网络 7.3.2 巧用BP算法解决计算问题 · 查看原书依据
- 模拟人类思考过程:神经网络 7.4.1 全连接与局部连接 · 查看原书依据
- 模拟人类思考过程:神经网络 7.4.2 改变激活函数 · 查看原书依据
- 模拟人类思考过程:神经网络 7.5 产品经理的经验之谈 · 查看原书依据
第8章 求解支持向量机
本章求解支持向量机(SVM),主线是从“最大间隔”的直觉出发,一步步把分类问题形式化为可求解的优化问题。先理解概念本身:SVM是一个以最大间隔为标准的二分类算法,其定义与核心思想见SVM的定义与核心思想。面对感知机能找到的多条划分直线,作者用新增咖啡豆的例子说明位于“正中间”的直线对新数据包容性最好,这种稳定性就是最大间隔的鲁棒性。而“正中间”要靠支持向量与最优超平面来刻画——只有少数边界样本决定超平面,其余点怎么移动都不影响结果。
把直觉变成可计算的目标,就进入推导环节。SVM的数学定义与基本型用 w·x+b 表示超平面,把间隔最大化转为最小化‖w‖,得到带不等式约束的二次型优化(原问题)。原问题难解,于是用拉格朗日乘子法把约束吸收进目标函数,变成无约束问题;再交换最大与最小的次序得到对偶问题。但转换并非无条件成立,对偶问题与强对偶条件指出只有满足凸优化与KKT条件才有 d=p,此时对偶解即原问题解。对偶问题只含 α,先消去 w、b,再用SMO算法求解SVM把大问题拆成成对更新 αi、αj 的小问题迭代求解,得到最终超平面。
现实数据往往不是理想情况。线性不可分时,核函数解决非线性可分用核技巧在低维算好内积、等价于在高维线性可分,避免高维内积爆炸;有噪声时,软间隔与松弛因子引入 ξi 与惩罚参数 C,允许少数样本犯错以换取更好的泛化。尽管如此,SVM的两大不足指出它对缺失数据与核函数选择敏感、且难以适应大规模训练,这也是它后来被深度学习与集成学习超越的原因。
最后回到产品经理视角:本章公式虽多,但真正的收获是业务问题形式化为数学——把模糊的业务场景抽象成目标与约束、再选工具求解的通用思路,这比记住某个具体算法更能迁移到新问题上。
原书依据 · 11 处
- 求解支持向量机 8.1.1 区分咖啡豆 · 查看原书依据
- 求解支持向量机 8.1.2 支持向量来帮忙 · 查看原书依据
- 求解支持向量机 8.1.2 支持向量来帮忙 · 查看原书依据
- 求解支持向量机 8.2.1 SVM的数学定义 · 查看原书依据
- 求解支持向量机 8.2.2 拉格朗日乘子法 · 查看原书依据
- 求解支持向量机 8.2.2 拉格朗日乘子法 · 查看原书依据
- 求解支持向量机 8.2.4 SMO算法 · 查看原书依据
- 求解支持向量机 8.3 非线性支持向量机与核函数 · 查看原书依据
- 求解支持向量机 8.4 软间隔支持向量机 · 查看原书依据
- 求解支持向量机 8.5 支持向量机的不足之处 · 查看原书依据
- 求解支持向量机 8.6 产品经理的经验之谈 · 查看原书依据
第9章 要想模型效果好,集成算法少不了
本章围绕“集成学习”展开:与其训练一个完美模型,不如把多个普通学习器组合起来,靠投票或平均得到更可靠的结果,这就是集成学习的本质。集成的隐含前提是成员既准确又多样,但两者天然矛盾——准确性与多样性的冲突指出,准确性越高往往多样性越低,所以单纯堆砌同质学习器并不能保证超越最强单模型。理论上,这个问题被弱学习增强为强学习回答:一个仅略高于50%正确率的弱算法,可以经多项式级过程被提升为任意精度的强算法,这正是Boosting的起点。
Boosting一族选择串行路线。Boosting迭代机制描述了它的循环:先训一个弱学习器,再根据表现调样本权重——错分样本加权、对分减权,让后续学习器聚焦难例,最后按精度加权投票。但“死磕难例”也是双刃剑,Boosting的过拟合隐患说明它因此对噪声敏感、容易过拟合。作为最流行的实现,AdaBoost双重权重机制引入数据权重与分类器权重两套机制,用最小误差算出每个学习器的“发言权”;其落地可归纳为AdaBoost迭代四步:新增弱分类器、训练并算误差、加权投票、判定是否继续。另一代表是GBDT残差与梯度提升,它不在真实值而在上一轮残差上训练下一棵树,沿损失函数梯度方向逐步逼近,用更少特征换来更低过拟合风险。
Bagging一族则走并行路线。Bagging并行与有放回采样用有放回抽样得到多个独立训练集,并行训练弱学习器后汇总,靠降方差提升泛化。其改进版随机森林的双重随机性同时随机选样本和随机选特征,制造多样性、降低方差;具体流程见随机森林实现步骤,其中未被抽中的袋外数据约占33.3%。随机森林在随机森林优劣与特征重要性中呈现其两面:并行高效、抗过拟合、能输出特征重要性,但牺牲了可解释性,是黑盒模型。
两条路线的取舍集中体现在两类集成算法对比:差别源于取样方式——Bagging均匀取样、可并行,Boosting按错误率取样、串行且通常更精确;耗时基学习器下Bagging反而更优。最终落到集成算法选型的业务权衡:不存在通用模型,产品经理要在复杂度、效率、可解释性与效果间平衡,对症下药而非迷信算法。
原书依据 · 14 处
- 要想模型效果好,集成算法少不了 9.1.1 三个臭皮匠赛过诸葛亮 · 查看原书依据
- 要想模型效果好,集成算法少不了 9.1.2 人多一定力量大吗 · 查看原书依据
- 要想模型效果好,集成算法少不了 9.1.2 人多一定力量大吗 · 查看原书依据
- 要想模型效果好,集成算法少不了 9.2.1 Boosting是什么 · 查看原书依据
- 要想模型效果好,集成算法少不了 9.2.1 Boosting是什么 · 查看原书依据
- 要想模型效果好,集成算法少不了 9.2.2 AdaBoost如何增强 · 查看原书依据
- 要想模型效果好,集成算法少不了 9.2.2 AdaBoost如何增强 · 查看原书依据
- 要想模型效果好,集成算法少不了 9.2.3 梯度下降与决策树集成 · 查看原书依据
- 要想模型效果好,集成算法少不了 9.3.1 Bagging是什么 · 查看原书依据
- 要想模型效果好,集成算法少不了 9.3.2 随机森林算法 · 查看原书依据
- 要想模型效果好,集成算法少不了 9.3.2 随机森林算法 · 查看原书依据
- 要想模型效果好,集成算法少不了 9.3.2 随机森林算法 · 查看原书依据
- 要想模型效果好,集成算法少不了 9.4 两类集成算法的对比 · 查看原书依据
- 要想模型效果好,集成算法少不了 9.4 两类集成算法的对比 · 查看原书依据
第10章 透过现象看本质,全靠降维来帮忙
本章围绕一句话展开:透过现象看本质,全靠降维。逻辑链条是——先讲一个朴素好用的分类器KNN,再暴露它在高维数据前的失效,由此引出降维,最后给出三类降维方法(PCA、LDA、流形学习)并比较其适用边界。
起点是 KNN以近邻多数投票分类:新样本不和谁比归属,而是看特征空间里最近的K个邻居,多数投票定类别。要让近邻可用,必须把样本向量化并定义距离,这就是 KNN分类受K值与距离影响 的关键——K值没有固定标准、影响偏差方差,需用交叉验证挑选,距离常用欧氏距离。落地时遵循 KNN五步分类流程:算距离、排序、选K点、统计频率、返回最高频类别。但KNN的软肋集中体现在 KNN样本不平衡与高维困境:样本不平衡会被大类淹没,高维下数据稀疏、距离复杂度飙升,必须求助降维。
为什么降维能帮忙?升维补特征降维去冗余 给出对称视角:特征太少就升维构造新特征找超平面,特征太多则有相关性冗余,要降维去冗余并压缩。降维以最少信息损失精简特征 把降维定义为无监督的特征精简,用时间/距离换成速度的例子说明如何在少损失信息的前提下降维,并强调它能最大限度保住有效信息、提升后续算法效率。
降维的第一大方法是PCA。PCA投影保留最大方差 指出PCA本质是空间映射,把数据投到新的正交坐标系,以方差最大的方向为主成分;PCA降维五步流程 给出标准化、协方差矩阵、特征值分解、选前k特征向量、构建转换矩阵映射的操作序列,目标是去相关且保方差。PCA免调参既是优点也是缺点 则点明PCA无监督无参数、结果只依赖数据的双面性:省去指标选择与调参,却无法用先验干预,且只适合线性相关,高阶相关需核主成分分析。
第二大方法LDA从分类需求出发。LDA追求类内最小类间最大 定义它为有监督降维、带分类结果的升级版PCA,追求投影后类内方差最小、类间方差最大。理解两者差异的最佳切入点是 投影方向上PCA与LDA的几何差异:两者都投影到正交轴,但PCA保方差、LDA保可分,某些数据上PCA会把两类混在一起而LDA仍能分开。使用时还要记住 LDA强假设下输出C减一维:输出C-1维、依赖高斯分布与相等协方差的强假设、靠均值而非方差因而鲁棒,且通常作为独立算法而非预处理。
当数据沿弯曲结构分布,线性方法都失灵,第三大方法登场。流形学习假设数据嵌于低维流形 假设高维数据其实嵌在低维流形上,用极坐标表示圆形说明如何去掉冗余,强调它是非线性降维、兼顾拓扑结构。具体实现见 Isomap与LLE的距离策略:环形数据上直线距离会误判相近点,Isomap用近邻图最短路径算测地距离求全局最优,LLE退而求局部最优、保持邻域线性关系;二者共同瓶颈是计算复杂度高、分类性能未必占优。
串起来看,KNN与降维是问题与解法的关系:KNN把相似度变成分类能力,却在高维前失灵;降维通过去冗余、保关键信息为它(也为众多模型)扫清障碍。选择哪种降维,取决于任务目标——只为压缩保信息用PCA,为分类保可分用LDA,数据非线性则用流形学习;同时别忘了降维还能让大量无标签数据变得可认识,与有标签数据互为补充。
原书依据 · 14 处
- 透过现象看本质,全靠降维来帮忙 10.1.1 “人以群分”的算法 · 查看原书依据
- 透过现象看本质,全靠降维来帮忙 10.1.2 如何实现KNN算法 · 查看原书依据
- 透过现象看本质,全靠降维来帮忙 10.1.2 如何实现KNN算法 · 查看原书依据
- 透过现象看本质,全靠降维来帮忙 10.1.2 如何实现KNN算法 · 查看原书依据
- 透过现象看本质,全靠降维来帮忙 10.2.1 维数过高带来的问题 · 查看原书依据
- 透过现象看本质,全靠降维来帮忙 10.2.2 什么是降维 · 查看原书依据
- 透过现象看本质,全靠降维来帮忙 10.3.1 PCA原理 · 查看原书依据
- 透过现象看本质,全靠降维来帮忙 10.3.1 PCA原理 · 查看原书依据
- 透过现象看本质,全靠降维来帮忙 10.3.2 PCA的特点与作用 · 查看原书依据
- 透过现象看本质,全靠降维来帮忙 10.4 线性判别分析法 · 查看原书依据
- 透过现象看本质,全靠降维来帮忙 10.4 LDA原理 · 查看原书依据
- 透过现象看本质,全靠降维来帮忙 10.4 LDA原理 · 查看原书依据
- 透过现象看本质,全靠降维来帮忙 10.5 流形学习算法 · 查看原书依据
- 透过现象看本质,全靠降维来帮忙 10.5 流形学习算法 · 查看原书依据
第11章 图像识别与卷积神经网络
本章把“让机器看懂图像”这条主线拆成三层:图像如何表达、如何用卷积自动学特征、如何落到人脸识别。 第一层是表达与采集。图像对计算机就是数字矩阵,像素与分辨率决定它的粒度,灰度用 0-255、彩色用 RGB 三通道或 HSV 三分量表示,彩色图最终成为高度固定为 3 的三阶张量,见图像的数字表达与RGB与HSV色彩模型。采集时取样决定空间分辨率、量化决定灰度级,二者都是“质量换数据量”的旋钮,随后还要靠预处理强化特征,见取样量化与预处理。整条识别链路是采集—预处理—特征抽取—分类器—决策的流水线,见图像识别五步骤。 第二层是特征学习。问题在于全连接的 BP 网络面对高维图像会计算爆炸且过拟合,见BP网络的两大瓶颈。突破口是卷积:物体特征集中在像素变化大的边缘,卷积核用局部内积提取这些边缘,见卷积运算提取边缘;一种核只提一种特征,于是用多个卷积核,并让核成为可学习的参数以突破人工特征的瓶颈,见多卷积核与特征学习。把这些装进 CNN 就得到CNN自动学习特征:其中卷积层靠局部连接与权值共享把参数量从数万降到数百,见卷积层局部连接权值共享;激活层注入非线性并顺带去噪,见激活层与ReLU;池化层压缩特征图并防止过拟合,见池化层压缩防过拟合;最后全连接层完成分类。 第三层是落地。人脸识别分“找到脸”和“认出脸”两步,前者可用 HOG 梯度检测、后者用 68 特征点对齐加深度 CNN 编码,见人脸检测与识别两阶段;训练用三元函数拉近同类、推远异类,生成 128 维编码并靠编码距离与阈值比对,见三元函数与128维编码。但阈值一调就有错,必须同时看 FAR 与 FRR,见FAR与FRR权衡。整章的启示是:产品经理只有理解原理,才能在刷脸支付、安检、打卡等场景中判断价值、设定合理指标。
原书依据 · 14 处
- 图像识别与卷积神经网络 11.1.1 从电影走进现实 · 查看原书依据
- 图像识别与卷积神经网络 11.1.2 图像的表达 · 查看原书依据
- 图像识别与卷积神经网络 11.1.2 图像的表达 · 查看原书依据
- 图像识别与卷积神经网络 11.1.3 图像采集与预处理 · 查看原书依据
- 图像识别与卷积神经网络 11.1.3 图像采集与预处理 · 查看原书依据
- 图像识别与卷积神经网络 11.2.1 卷积运算 · 查看原书依据
- 图像识别与卷积神经网络 11.2.1 卷积运算 · 查看原书依据
- 图像识别与卷积神经网络 11.2.2 什么是卷积神经网络 · 查看原书依据
- 图像识别与卷积神经网络 11.2.2 什么是卷积神经网络 · 查看原书依据
- 图像识别与卷积神经网络 11.2.2 什么是卷积神经网络 · 查看原书依据
- 图像识别与卷积神经网络 11.2.2 什么是卷积神经网络 · 查看原书依据
- 图像识别与卷积神经网络 11.3 人脸识别技术 · 查看原书依据
- 图像识别与卷积神经网络 11.3.2 人脸识别 · 查看原书依据
- 图像识别与卷积神经网络 11.3.3 人脸识别的效果评价方法 · 查看原书依据
第12章 自然语言处理与循环神经网络
本章围绕“让计算机理解语言”展开,主线是:自然语言处理是什么、为什么难、用什么网络解决、以及训练时遇到什么问题、如何改进。
先说概念与目标。自然语言处理与理解的定义给出 NLP 的研究对象,并强调“理解”有弱、强两种标准,工程上取“做出相应行为”这一强标准。自然语言处理五大类问题把纷繁的语言任务归约为分类、匹配、翻译、结构分析、阶段预测五类,为后续建模提供统一语言。然而目标虽清晰,难度却很高:计算机难以理解语言的两因指出语言规律复杂、依赖语境,统计配对还会引发组合爆炸与维数灾难,正因如此这个领域叫“处理”而非“理解”。
再进入方法。传统 CNN 为何不行?CNN为何不适合文本序列说明卷积核固定、输出互不影响,而文本词性语义依赖前后文,属于时间序列数据。作为铺垫,统计语言模型与N-Gram局限用补句例子揭示固定窗口无法覆盖远端线索。于是RNN的记忆与状态机制登场:隐藏层节点相连,St 取决于 S{t-1},用“状态即记忆”让历史参与当前输出。不同任务需要不同形态,RNN的五种结构形态归纳了 1toN、Nto1、NtoN 等结构,Seq2Seq与上下文向量桥梁则解释不等长序列如何用编码器—解码器与向量 c 处理。
接着是训练与瓶颈。BPTT求解RNN参数说明如何定义总损失并沿时间与层级两个方向反向传播求 U/V/W。但梯度消失问题及对策指出梯度在长序列中会消失,导致长期依赖问题本质——线索离目标太远时 RNN 学不到连接。改进方案是 LSTM:LSTM三门控制长期记忆用遗忘门、输入门、输出门分别控制保留、写入与读出,让长期记忆成为默认行为。
最后,算法演进的产品思维把 RNN 到 LSTM 的“发现问题—逐步改进”提炼为通用方法论:算法设计如产品设计,结合场景追问问题与改进,才能选到最合适的算法。整章由“是什么”到“怎么样”再到“为什么与如何改进”,层层递进。
原书依据 · 13 处
- 自然语言处理与循环神经网络 12.1.1 什么是自然语言处理 · 查看原书依据
- 自然语言处理与循环神经网络 12.1.1 什么是自然语言处理 · 查看原书依据
- 自然语言处理与循环神经网络 12.1.2 为什么计算机难以理解语言 · 查看原书依据
- 自然语言处理与循环神经网络 12.2.1 CNN为什么不能处理文本 · 查看原书依据
- 自然语言处理与循环神经网络 12.2.1 CNN为什么不能处理文本 · 查看原书依据
- 自然语言处理与循环神经网络 12.2.2 循环神经网络登场 · 查看原书依据
- 自然语言处理与循环神经网络 12.2.3 RNN的结构 · 查看原书依据
- 自然语言处理与循环神经网络 12.2.3 RNN的结构 · 查看原书依据
- 自然语言处理与循环神经网络 12.3.1 引入BPTT求解RNN · 查看原书依据
- 自然语言处理与循环神经网络 12.3.2 梯度消失问题 · 查看原书依据
- 自然语言处理与循环神经网络 12.4.1 长期依赖问题 · 查看原书依据
- 自然语言处理与循环神经网络 12.4.2 处理长序列能手——LSTM · 查看原书依据
- 自然语言处理与循环神经网络 12.5 产品经理的经验之谈 · 查看原书依据
第13章 AI绘画与生成对抗网络
本章以AI绘画为切入点,系统讲解生成对抗网络(GAN)。理解本章的关键,是先抓住一个核心矛盾,再看它如何一步步被工程化改良。
起点是“博弈”。GAN由生成器与判别器两个网络组成,前者造假、后者鉴别,像《猫鼠游戏》里的莱昂纳多与FBI探员(GAN的猫鼠博弈本质)。判别器给真图标1、假图标0,训练自己的鉴别力(判别器的标注检验)。二者目标相反:判别器想拉开D(x)与D(G(z)),生成器想让两者重合;当输出逼近0.5、判别器彻底分不清时,对抗达到均衡(对抗训练的均衡态)。
接着要回答“生成究竟意味着什么”。GAN代表从人类赋予逻辑到机器用自己的方式思考的转变(为何要让机器自主生成)。它把128×128照片看作图像空间中的一个点,学习数据点在空间中的聚集规律即数据分布(图像空间与数据分布),再用“像素点重组”函数把潜在空间的随机点映射为有意义的图像(随机点的像素重组)。必须警惕一个误区:GAN并不理解“蚂蚁”“火山”的语义,它只是从像素统计分布上推断出接近现实的结果(GAN不理解词语语义)。
为什么它发展如此之快?因为只靠反向传播、框架灵活、能逼近不可计算的目标函数(GAN的三大优势)。落到应用上,它用于提升分辨率、风格转化、侧脸变正脸等(GAN的典型应用场景)。
然而早期GAN极不稳定,于是有了两条改良路线。DCGAN把GAN与CNN结合,用反卷积把小数据放大(注意它并非卷积的真正逆操作,只能还原大小不能还原值)(DCGAN的反卷积上采样),再靠去池化层和批归一化稳定训练(DCGAN的两项改进)。BEGAN则换了一种评价思路:不直接比分布,而比分布的误差,用Wasserstein距离匹配自编码器的损失分布(BEGAN用误差分布评估)。
最后是格局问题。勒丘恩的蛋糕比喻提醒我们,无监督学习才是尚未做好的“蛋糕胚”,GAN的价值在于让模型自学习、有望为AI加入常识(无监督学习的蛋糕胚)。把这几张卡串起来,就形成“博弈机制—生成原理—应用—改良—愿景”的完整脉络。
原书依据 · 13 处
- AI绘画与生成对抗网络 13.1.1 猫和老鼠的游戏 · 查看原书依据
- AI绘画与生成对抗网络 13.1.2 生成网络是什么 · 查看原书依据
- AI绘画与生成对抗网络 13.1.2 生成网络是什么 · 查看原书依据
- AI绘画与生成对抗网络 13.1.2 生成网络是什么 · 查看原书依据
- AI绘画与生成对抗网络 13.1.2 生成网络是什么 · 查看原书依据
- AI绘画与生成对抗网络 13.1.3 判别检验 · 查看原书依据
- AI绘画与生成对抗网络 13.1.4 生成对抗的过程 · 查看原书依据
- AI绘画与生成对抗网络 13.2.1 GAN的特点 · 查看原书依据
- AI绘画与生成对抗网络 13.2.2 GAN的应用场景 · 查看原书依据
- AI绘画与生成对抗网络 13.3.1 强强联合的DCGAN · 查看原书依据
- AI绘画与生成对抗网络 13.3.1 强强联合的DCGAN · 查看原书依据
- AI绘画与生成对抗网络 13.3.2 通过BEGAN化繁为简 · 查看原书依据
- AI绘画与生成对抗网络 13.3.3 对GAN的更多期待 · 查看原书依据
跨章综合
把各章放在一起看,机器学习是一套层层递进的工具:数据准备与指标评估是地基,决定了后面所有算法能达到的上限;回归、决策树、贝叶斯、支持向量机、集成与降维是从不同角度处理“预测与分类”的方法,各有假设、优劣与适用边界;卷积网络、循环网络与生成对抗网络则把同一套学习思想搬到图像、文本与生成任务。产品经理读这本书,学到的不只是算法名词,而是“问题—数据—方法—评价—落地”的思考框架:遇到新需求先判断问题类型与数据条件,再选方法与指标,最后用业务价值检验。
发散与实践
下面的实践均为读者延伸计划,不是书中已执行结果。可按书中指标搭建一个小型分类评估表,比较准确率、精确率、召回率与 AUC 在不同数据分布下的表现;选一个经典数据集复现决策树或朴素贝叶斯,观察特征工程对效果的影响;用公开图像或文本数据体验卷积网络与循环网络的基本流程。每张实践卡给出书中依据、可立即开始的第一步与可检查产出。