来源书籍

数据科学入门(第2版)

Skill 版本:v24 229 张卡片

[美] 乔尔·格鲁斯 · 岳冰 高蓉 韩波 译 · 人民邮电出版社 · 2021-01 · 第2版

全书导读

《数据科学入门》第2版是一本”用代码把数据科学重新造一遍”的书。它假设读者会一点 Python,然后从向量和矩阵开始,一路走到深度学习与推荐系统,每一站都先讲清概念、再亲手实现最小版本,最后才告诉你成熟库长什么样。这样安排的理由在书中说得很直接:只有自己实现过,才知道库在替你做什么,也才知道它的假设什么时候会失效。

全书可以分成四段。第一段(第1–8章)造零件:把数据表示成列表和字典、把关系表示成图、用统计量和概率描述不确定性、用假设检验判断差异是否真实、用梯度下降把”模型好不好”变成一个可优化的目标。第二段(第9–13章)处理数据本身:读写、抓取、探索、清洗、缩放、降维,以及机器学习的基本判断框架(过拟合、偏差-方差、训练/测试隔离)。第三段(第14–23章)是模型主体:从最简单的 kNN 和线性回归,到决策树、神经网络、深度学习、聚类、NLP、网络分析与推荐系统。第四段(第24–27章)把视角拉远:数据放在数据库里怎么取、放在集群上怎么算、做这些东西要承担什么伦理责任、以及后面该往哪走。

阅读顺序上,第2–4章是工具与语言,可以按需回查;第5–8章与第11章是全书的地基,值得慢读;第12–23章的模型章节彼此独立,可按兴趣跳跃,但建议保留”先实现、再比较、再看边界”的读法;第24–27章可以独立阅读。全书没有一处依赖某个特定库版本,这让它在十年后仍然可读。

全书主线

整本书围绕一个问题展开:如何从一个含糊的业务问题,走到一个能对未见数据负责的答案。这条线可以拆成五个动作。

  1. 把问题变成可计算的对象。 第1章把”谁是这个网站上最重要的人”翻译成”在关系图里算中心性”;第10章把”数据脏”翻译成缺失、异常、量纲不一致这些具体检查项。对象一旦定下来,方法才有得选。
  2. 用概率语言描述不确定性。 第5–7章建立的不是公式,而是一种判断习惯:任何从样本得到的数字都带着抽样波动,所以要看分布、看置信区间、看这个差异在”什么都没有”的假设下有多常见。第7章的 p-hacking 一节是这条线的反面教材。
  3. 把”好”定义成一个可优化的目标。 第8章的梯度下降是全书的技术枢纽:一旦损失函数可微,”模型”就变成一个可以在参数空间里走路的点,后面的线性回归、逻辑回归、神经网络、深度学习全部复用这套机制。
  4. 用同一套评估纪律检验每个模型。 第11章给出的训练/测试分离、过拟合识别、偏差-方差权衡,在后面的 kNN、决策树、神经网络里反复出现。模型越复杂,这条纪律越重要。
  5. 把结论放回现实约束里。 第24–26章提醒:数据存在哪里、算得起算不起、以及这个结论会不会伤害人,都不是模型内部能回答的问题。

这五个动作不是线性的流水线,而是循环:评估结果会把你送回问题定义,伦理质疑会把你送回目标函数。

第2版前言

第2版的改动不是修补文字,而是按新的环境重做一遍:全部代码与示例改用 Python 3.6 编写,用上类型注释这类当时新引入的语法,示例数据从虚构数据换成有现实背景的真实数据集,并新增深度学习、统计学、自然语言处理三块内容,同时删去若干被认为不再重要的主题。改动的依据是外部条件变化——数据科学这几年的发展、Python 生态的进步,以及写作者自身作为开发者和教育者认知的改变,使“入门该先讲什么”有了不同答案。

从取舍可以看出入门书的篇幅被视为稀缺资源:加进来的标准是“当今数据科学家很可能用到”,删掉的标准是“不那么重要”,而不是学科体系的完整。这样处理让读者更快接触日常真正会用到的工具,代价是部分主题只留一句带过,需要靠后续章节或外部资料补齐;同时修复 bug、重写不够清晰的解释,说明第1版并非全错,而是表达与示例需要更新。

其余篇幅是排版约定、示例代码的授权范围、O’Reilly 的在线学习平台与联系方式,以及一长串致谢名单,都不构成知识内容。这些段落只交代阅读与使用规则:黑体标新术语、等宽字体标程序片段与标识符、等宽粗体标需要用户输入的命令;少量代码片段可以自由引用,批量再分发或用于产品文档则要申请许可。对读者真正有用的一条信息是示例代码、练习与勘误集中放在 GitHub 仓库和图书专属页面上,因此书中的代码片段应以仓库中的版本为准,纸质页面上的片段可能已经不是最终形态。

本章展开:第2版重写了什么。

原书依据 · 1 处

第1版前言

第1版前言先给数据科学一个形象说法:把黑客技能、数学与统计学知识、专业技能画成三个集合,数据科学是它们的交集。这个划分的价值在于指出缺一不可——只会写代码做不出推断,只懂统计处理不了脏数据,缺领域知识则提不出值得回答的问题。本书主动放弃第三块,理由是行业知识因行业而异、写全需要上万页,于是只承诺两件事:让读者掌握动手处理数据的技能,并熟悉作为核心的数学与统计。

接着说明“从零开始”的含义:不依赖 NumPy、scikit-learn、pandas 这类现成库,而是为了让读者看清内部机制,亲手构建工具、亲手实现算法,代码选择的标准是注释清楚、简短易读。这是明确的教学取舍,代价写在明处——自建工具意义清晰但实用性有限,在小数据集上运转良好,对“Web 级别”的数据就束手无策;因此全书只指出适用大规模数据的库,而不使用它们。

最后交代语言选择:Python 因免费、相对易读、数据科学相关库多而被采用,但教 Python 不是本书目的,只会用一章讲与主题相关的特征,没有编程基础的读者需要另找入门教程。这一点限定了本书的读者前提:能读懂基本语法,但不必是专业程序员。前言收在一句经验判断上——有一定数学基础和编程技能的人都能从事数据科学,缺的是好奇心与勤奋,而不是天赋;这个判断为后面“所有算法都自己实现”的写法提供了信心基础。

本章展开:数据科学的三块交叉、从零开始意味着什么。

原书依据 · 2 处

第1章 导论

本章先回答“数据科学是什么”,答案不是技能清单而是一种产出:从凌乱的数据中提取有用信息。这个定义故意宽泛,因为现实中被称为数据科学家的人背景差异极大——有人实际工作就是统计学家,有人与软件工程师无异,有人精通机器学习,有人几乎不碰,有人是发表过论文的博士,有人从未读过学术论文。用头衔、学历或工具去界定,立刻会遇到反例,只能退回到“做什么”上。问题于是变成:面对一堆不整洁、不完整的记录,究竟能提出哪些问题,用什么手段回答。

为了把这件事讲成可操作的过程,全书架了一条教学线索:你被聘来领导一家叫 DataSciencester 的数据科学家社交网络,这家公司从未真正做过数据科学,于是各部门的副总带着具体问题来找你——谁是关键联系人、该向用户推荐谁、工资与年限什么关系、谁会付费、大家关心什么主题。数据来源被刻意分成三类:用户直接填写的资料、用户使用网站留下的行为记录、自己设计的实验产生的数据,覆盖了真实工作中的主要获取途径。上一节造出的结构成为下一节的前提,所以章节顺序本身就是依赖顺序。

第一天的几个问题已经铺开了技术骨架。朋友关系最初存成成对的 ID 列表,查某人的朋友必须遍历全部记录;改成以用户 ID 为键、朋友 ID 列表为值的字典后,只需付一次建表成本,之后查询近乎常数时间。在这个结构上数每个用户的朋友数,就得到度中心性——它便宜、可解释,却未必符合直觉:Thor 只有两个朋友,在图上看起来却比有三个朋友的 Dunn 更居中,因为度只数数量、不看位置。同一批数据换个问法就换个算法:推荐“你可能认识的人”要先排除本人、排除已是朋友的人,并统计共同朋友个数,直接展开朋友的朋友会重复计数。

工资与工作年限的例子暴露了描述和预测的区别。按精确年限分组求平均,由于每个人年限都不同,结果只是把个人工资重抄一遍;切成三段再求平均才看得出差距,于是能说“五年以上比新人高 65%”,但切点是随手定的,也回答不了“多一年经验值多少钱”,后者需要能对未知年限给出预测的模型。付费账户的例子更粗糙:仅凭十来条记录,就用两个手工阈值拼出一条 if-else 规则。最后一个问题用最朴素的办法统计兴趣词频——转小写、按空格切词、计数,代价是 scikit-learn 被拆成两个词,单字母和同义词也合不到一起。

本章展开:数据科学家做什么而非是谁、虚构公司串起全书、边列表换成邻接表、度中心性的直觉偏差、朋友的朋友要去重过滤、连续值直接分组的陷阱、凭肉眼写一条阈值规则、朴素词频法的失效点。

原书依据 · 8 处

第2章 Python速成

本章是给数据科学工作准备的 Python 最小集,起点不是语法清单而是环境:先建立隔离的虚拟环境,让每个项目的库版本互不干扰,再谈代码。叙述方式是按用途挑选语言特性:缩进、模块、函数、异常这些基础设施决定代码能否被读懂和复用,列表、字典、集合、元组决定数据怎么放,迭代器、类、类型注解决定程序如何组织。作者不断给出反例(星号导入覆盖同名变量、Tab 与空格混用直接报错),说明所谓的 Python 风格不是审美偏好,每一条背后都对应一类具体故障。

数据结构部分的主线是「按访问模式选容器」。列表有序、可改、可切片,但成员检查要逐个遍历;字典按键的散列值定位,所以查找快、键必须可散列,缺失键会抛异常,于是有 defaultdict 自动建默认值和 Counter 直接计数;集合用同样的散列换来常数时间的 in 与去重能力,代价是无序。这些选择在后续章节反复出现:词频统计、按词分组、去重、邻接关系都靠它们承载,选错容器的代价是随数据量线性增长的等待。

表达力来自把函数当成值:函数可赋给变量、可作参数、可作返回值,于是能用 key 函数排序、用工厂函数定制 defaultdict、用高阶函数包装行为。生成器进一步把「值」换成「按需产出的值」,用 yield 或生成器解析把处理串成管道,用内存换取可处理无限序列的能力,代价是只能迭代一次。控制流、真假规则、列表解析、zip 是写这些管道的日常工具,其中空容器为假、and/or 返回操作数这类规则是最常见的错误来源。

质量保障有两条互补的线:assert 把预期写成运行时可检验的断言,类型注解则在运行前由 mypy 之类的工具读取检查,同时充当文档、逼迫接口设计得更清楚;注解本身不改变运行时行为,所以不能替代测试。面向对象用于把状态与操作绑定,构造、repr、继承重写各有明确用途,作者的态度是够用即可:能用函数和内置结构表达清楚,就不引入类。

本章展开:虚拟环境隔离库版本、缩进就是代码块、导入方式决定名字来源、函数是可以传递的值、异常也是正常控制流、缺键自动生成默认值、字典键必须可散列、集合让成员测试变快、空容器为假与短路返回、用 assert 固化预期、生成器按需产出、类型注解运行时不生效、类把状态和行为绑在一起。

原书依据 · 13 处

第3章 数据可视化

可视化的目的分两种:探索数据时给自己看,找出分布、异常与关系;阐释数据时给别人看,把结论讲清楚。工具是 matplotlib 的 pyplot,它靠一套内部状态按调用顺序搭图——先 plot、bar、scatter 画元素,再用 title、ylabel、xticks 修饰,最后 savefig 或 show 输出。这个模型的好处是几行就能出图,代价是状态是隐式的:同一张图上多次 plot 会叠加,图例必须显式给 label 才会出现。

图形形状由 x 轴代表什么决定。x 是离散类别、y 是数量时用条形图,长度可以直接比较;x 是有序的连续量(年份、模型复杂度)时用线图,斜率表达趋势;x 和 y 都是数值、关心两者的联合关系时用散点图,一个点是一个观测。把数值分箱计数后再用条形图画,就是直方图:条宽等于箱宽,条形中心要对准箱的中点,所以坐标要右移半个宽度,并显式设置刻度。

好图与坏图的差别大多出在坐标轴上。条形图的 y 轴不从 0 开始,会把 500 与 505 画成巨大增长,因为条的长度本身就是编码,截断基线等于篡改比例;折线图和散点图编码的是位置,局部放大可以接受,但要让读者看出轴被截断。散点图还应调用 axis(“equal”),否则两个量纲相同的变量被各自拉伸,读者无法判断变化主要发生在哪个变量上。样式是最后一步,先确认轴范围与比例忠实于数据。

本章展开:图类型由 x 轴含义决定、直方图是分箱后的条形、条形图 y 轴必须从 0 开始、散点图需等比例坐标轴、pyplot 靠状态逐步搭图。

原书依据 · 5 处

第4章 线性代数

线性代数在本章被当作数据表示工具而不是证明课。向量是有限维空间中的点:一组数值(身高体重年龄、四门成绩)写成一个向量,多个样本就一层层排成矩阵的行。抽象的向量定义只要求能相加、能乘标量,落到代码上就是用列表表示、自己实现逐分量运算,并靠断言保证长度一致;书中同时提醒,列表实现便于表达但性能很差,实际编程要换成 NumPy 的高性能数组。

由加法和标量乘法派生出整套度量。点积把两个向量压成一个数,几何上是 v 在 w 方向上的投影长度(w 为单位向量时),因此它衡量两个向量同向的程度;点积与自身做运算得到平方和,开方得到长度;两个向量相减再取长度就是欧氏距离。这条「点积—长度—距离」的链条是后面相关性、聚类、梯度之类方法的公共底座,理解几何含义比记住公式更有用,因为换一种数据表示时公式不变而含义要重新检查。

矩阵有三种身份:数据集(每行一个样本,形状为行数乘列数)、线性映射(把 n 维向量送到 m 维)、二元关系(邻接矩阵中 A[i][j] 为 1 表示节点 i 与 j 相连)。前两种决定了后续把成批数据与模型都写成矩阵运算;第三种是空间与时间的交换——关系稀疏时存下大量零很浪费,但查两个节点是否相连变成一次索引,查某点的全部邻居变成扫一行,网络规模大且关系稀疏时不如邻接表划算。

本章展开:向量把一行数据变成点、向量加法按分量对齐、点积衡量投影与同向程度、矩阵的三种身份、邻接矩阵用空间换查询。

原书依据 · 5 处

第5章 统计学

本章从 DataSciencester 会员的朋友数出发,回答一个很实际的问题:数据多到看不完时,怎么用少数几个数把它的形状说清楚。数据点数量、极值、均值、中位数这些统计量把上百个数压缩成可比较的特征,代价是丢掉了每个个体的具体信息,所以选哪个量取决于你怕丢什么。

中心倾向与离散度必须成对使用。均值用上每个点、随数据平滑变化,却会被一个异常值整体系数地拉走;中位数只看排序后的位置、对尾部免疫,代价是先排序且不反映被丢掉的值有多大。方差用平方偏离度量整体离散程度,除以 n−1 修正样本对总体的低估,开方得到同量纲的标准差,而四分位距提供了抗离群点的替代方案。

描述完单个变量后进入两变量关系。协方差衡量两个变量是否同向偏离各自均值,但因单位是两者单位之积、且随尺度翻倍而翻倍,无法判断多大算大;把协方差除以两个标准差得到相关系数,消掉单位与尺度,压进 −1 到 1。这个数字只捕捉线性同步关系,对异常值敏感,也不告诉你关系强弱。

最后两节处理解释层面的陷阱。辛普森悖论说明当分组比例不均时,混杂变量可以让合并数据的结论整体反转,相关系数可解释的前提是“其他条件相同”,而随机分配只是让这个前提近似成立的少数场合。相关到因果之间存在五种可能结构,观察数据分不清它们,只有随机试验能给因果方向提供支撑,这也是第 7 章 A/B 测试的立论基础。

本章展开:均值被每个点牵着走、分位数:中位数的推广、方差为什么除以 n−1、离散度度量的稳健取舍、协方差为什么难解释、相关系数只捕捉线性关系、一个异常值拖垮相关系数、辛普森悖论的分组反转、相关不等于因果。

原书依据 · 9 处

第6章 概率

概率论是把“从所有可能结果中抽到某个事件”的不确定性量化的工具:结果空间是全部可能结果的集合,任何子集都是一个事件,事件被赋予 0 到 1 之间的概率。本章不碰测度论,用掷骰子、掷硬币这些离散例子建立直觉,再把同样的语言推广到连续分布;它既用于建立模型,也用于评估模型的可信度。

独立与条件概率是同一件事的两面。独立要求联合概率等于各自概率之积,直观含义是“知道一个发生与否不改变另一个的判断”;条件概率 P(A|B) 把分母换成 B 的概率,等于只在 B 内部重新分配权重。两孩问题最能显示这一步的威力:已知老大是女孩时两个都是女孩的概率是 1/2,已知至少有一个女孩时只有 1/3,差别只来自被排除掉多少种组合。

贝叶斯定理由条件概率定义写两遍再移项得到,作用是把 P(证据|假设) 翻成 P(假设|证据)。它的分母要把“假设为真”和“假设为假”两条路径的证据都算进去,所以基础率极低的疾病即使检测 99% 准确,阳性者真患病也远不到 1%;换成一百万人计数,假阳性被庞大的健康人基数放大,直觉立刻对得上。

随机变量给每个结果赋一个带分布的数值,期望值是这些取值的加权平均,随机变量也可以像事件一样被条件化。连续情形不能给单点正概率,否则无穷多点之和会超过 1,于是改用密度:区间概率等于密度在该区间上的积分。累积分布函数直接给出 P(X≤x),单调不减且可反查分位点。

正态分布只由均值和标准差两个参数决定,任何正态变量减去均值再除以标准差都变成标准正态,因此一张表覆盖所有情形。中心极限定理解释了它为何无处不在:大量独立同分布变量之均值近似 N(μ, σ/√n),二项分布是伯努利之和,于是也能用正态近似,这为第 7 章的假设检验提供了可计算的基础。

本章展开:独立用乘法判定、条件概率换掉了分母、贝叶斯定理逆转条件、基础率让阳性不再可信、随机变量与期望值、概率密度不是概率、正态分布只需两个参数、中心极限定理。

原书依据 · 8 处

第7章 假设和推论

这一章把前两章的描述统计与概率变成判断。做法是先立一个“什么都没发生”的零假设 H0,再在 H0 成立的前提下推出统计量应当服从的分布,看实际观测是否落在小概率区域,从而决定能否拒绝 H0。结论只有“拒绝”与“未能拒绝”两种,永远得不到“H0 为真”。

掷硬币的例子把三种等价说法串起来:临界值法(1000 次中落在 469 到 531 之外就拒绝)、显著性(5% 的假阳性率,即第 1 类错误)、势(给定 p=0.55 时命中率为 0.887,1 减去第 2 类错误)。势必须先说明“H0 假成什么样”才能计算;单边检验把 5% 全放到一侧,把临界值从 531 降到 526,用放弃对另一方向的敏感换来 0.936 的更高势。

p 值换一种报法:在 H0 下得到至少与实际观测一样极端结果的概率,它与临界值法结论一致,只是把“离边界多远”变成一个可比较的数。用正态近似离散的二项分布时要加连续校正,把 530 换成 529.5,否则 p 会系统性偏小。置信区间则给出参数的区间估计,95% 描述的是重复实验时随机区间覆盖固定真值的频率,与假设检验互为对偶:真值落在区间内等价于不拒绝。

5% 这个定义本身就决定了长期必有假阳性:跑一千次均匀硬币实验,约有 46 次被误判为显著。多试几个假设、多切几组数据、删掉几个异常值,就能稳定凑出 p,这就是 p-hacking,它不需要造假动机,只需要“看了结果再决定怎么分析”。解药是把顺序倒过来:先定假设,再看数据。

A/B 测试是这套逻辑的工程化:把点击看作伯努利试验,两组点击率之差近似正态,用 z 统计量比较,200 对 180 得 p=0.254 无法定论,200 对 150 得 p=0.003 可以下结论;严格说用样本估了标准差应交由 t 分布,大样本下差别可忽略。贝叶斯推断换一种问法:把参数视为随机变量,用 Beta 先验与二项的共轭性更新为 Beta(α+h, β+t),小样本时先验主导结论,数据一多先验就被冲淡。

本章展开:零假设是默认立场、显著性与两类错误、单边检验换来的势、p 值回答的是反问题、连续校正补上半个单位、置信区间是随机区间、5% 的假阳性必然出现、A/B 测试就是 z 检验、贝叶斯把参数当变量、先验的影响会被数据冲淡。

原书依据 · 10 处

第8章 梯度下降

数据科学里“找最佳模型”往往等于“最小化损失”或“最大化似然”,也就是解一个最优化问题。梯度下降是这类问题的通用解法:不要求闭式解,只要目标函数可微、能算出梯度,就能从随机起点一步步逼近最优点。它在本章之后几乎所有的模型里反复出现,所以先把它当作独立工具讲清楚。理解了它,后面每换一个模型,本质上只是换了一个损失函数和一个梯度公式。

核心事实是梯度给出最速上升方向:每个分量表示“只动这一维时函数变化多快”,合起来指向局部增长最快的方向,长度就是最大变化率。于是最大化沿梯度走、最小化沿反方向走,反复“算梯度—走一步”直到梯度接近零。这只是局部信息,函数有多个谷底时会停在其中一个,换起点重跑是常见补救;没有下界时迭代不会停。

梯度可以解析求,也可以用差商数值估。差商拿割线斜率逼近切线,多变量时逐分量加小扰动得到偏导再拼成向量;代价是每次估算要做与维度同数量级的函数求值,反复迭代开销很大,所以实用中偏好解析梯度。步长则没有公式,太小收敛极慢,太大会跨过谷底甚至让目标值变大,只能靠实验,还要与梯度的量级匹配。

拟合模型时把参数当自变量、损失当目标:随机初始化参数,算全量数据的平均梯度,沿反方向更新,一次完整遍历叫一个 epoch。以线性回归为例,单点梯度是 [2·error·x, 2·error],符号分析比公式更有用——预测偏大时截距该往小调,而斜率的方向还取决于 x 的正负,所以必须对全量取平均才稳。这条链条的关键是:只要损失对参数可微,任何模型都能套进同一个循环。

全量梯度要遍历完所有数据才更新一次,大数据下太慢。小批次把数据切块,每块更新一次;随机梯度极端到每点更新一次。更新更频繁、所需轮数更少,但单点方向噪声大、路径更抖,还丢掉了整批向量化带来的收益。批量大小与步长一样要靠实验,书中也提醒这些叫法各家并不统一,实践里通常先用小批次起步,再看收敛情况调整。

本章展开:梯度指向最陡上升方向、梯度下降只保局部、用差商近似导数、步长只能靠实验确定、把拟合变成最小化损失、读懂线性回归的梯度、小批次与随机梯度的取舍。

原书依据 · 7 处

第9章 获取数据

获取数据是数据科学里最费时间的一段:数据要先进得来,再变成能算的格式。本章按“数据离你多远”排列手段——同一台机器上的文件、命令行管道、网页、结构化 API,最后用 Twitter 做一个完整实例。越往后的手段拿到的结构越好,但依赖也越多:认证、配额、对方的接口改版,都可能让管道随时中断。贯穿全章还有一条隐含标准:这份数据你能不能合法、稳定、可重复地拿到第二次。

最轻量的是 stdin/stdout 管道:每个脚本只干一件事,读一行、判一行、写一行,用竖线把左程序的输出接到右程序的输入,就拼成流水线,数据不必整体进内存。文件层面强调两点:用 with 保证文件被关闭;分隔文件永远不要手写解析,因为字段里可能有逗号、tab 和换行,应交给 csv 模块或 pandas。把“切分字段”和“解释字段”(如价格转 float)分开,是这一节背后的分工。

抓取的难点不在下载,而在理解结构。HTML 往往不规整,需要先用 BeautifulSoup 把文档建成树,再按标签、id、class 查找,并配一个容错解析器。更麻烦的是逻辑本身:“重要数据”不会恰好标成 important,必须读源 HTML 推断,还要考虑同一元素被多个父节点重复返回之类的边界。所以只要站点提供 API,就该优先用 API:它直接返回结构化字段,代价是认证、分页、限流这些接入工作。

通过 HTTP 拿到的数据是字符串,必须序列化,JSON 最常见(对象像 Python 字典),XML 也有;客户端用 json.loads 还原成字典再取值。认证是最棘手的一环:密钥与令牌等同于密码,不能进公共仓库,应放在不签入的配置文件或环境变量里。现成的封装库能省掉细节,但 API 改版时也会变成排查障碍,所以知道底层请求怎么发仍有价值。这些接入细节花掉的时间,往往比建模还多。

Twitter 实例把上述环节串起来:先申请开发者账号、拿到 API 钥匙与密钥,再用 OAuth 走完 PIN 授权换到访问令牌;随后区分两种取数方式——Search API 只给少量“它认为最新”的结果,做不了大规模分析,Streaming API 通过长连接持续推送,需要继承 TwythonStreamer、覆盖 on_success 与 on_error,攒够条数主动断开。书中还提醒,正式项目不要把结果留在内存列表里,应落盘或入库,否则一次进程退出就前功尽弃。

本章展开:用管道串起小工具、永不手写 CSV 解析、抓取难在理解结构、优先用 API 而非抓取、HTTP 上的数据是字符串、密钥要当密码保管、封装库省事也藏坑、搜索接口与流式接口。

原书依据 · 8 处

第10章 数据工作

拿到数据后第一反应常是建模,本章主张先探索。探索按维度递进:一维看分布,二维看联合,多维看两两关系。一维先算样本量、极值、均值、标准差,再分箱画直方图;二维用散点图和相关系数;多维用相关矩阵或散点图矩阵。三步都在回答同一个问题:数据长什么样、有没有异常、变量之间是否相关——这些判断决定后面该选什么模型、要不要做变换。

探索之后是“怎么表示一条记录”。字典方便,但键易拼错、无法逐字段标注类型、也更占内存;NamedTuple 用固定字段名换来省内存、类型提示和拼错即报错。dataclass 写法几乎一样,但字段可变,方便原地修改,也把“写错字段名不报错”的风险请了回来。选哪个,取决于这条记录是否需要被改动。判据背后的原则是:尽量让错误在赋值那一刻暴露,而不是等到下游算出离谱结果。

清洗的原则是把校验放进可测试的函数:解析失败返回 None,由调用方逐行决定跳过还是记录,这样一条坏行不会让整个程序崩掉,也方便写断言测试。处置分删除、溯源修复、暂时不管三种,判断依据是坏行比例与偏差风险——几百万行里坏一行可以忽略,一半行有问题就必须回头查采集环节。更隐蔽的是“能解析但语义错”的数据,比如 3014 年的日期,程序不会报错,只能靠对字段范围和分布做检查才发现。

数据处理部分用股票价格演示了可复用的模式:按实体分组、组内排序、用 zip 把相邻两条配对算日环比、再按月聚合回答“哪个月最好”。把大问题拆成这些可验证的小步骤,正是数据处理最主要的工作方式。其中排序能一行完成,是因为 NamedTuple 按字段顺序比较——先比代码(同组内相同,等于没比),再比日期,于是自然按时间排好;反过来说,字段顺序一旦放错,排序结果也会跟着错。

最后是数据调整与降维。距离对量纲敏感,换单位就会换掉“谁的邻居”,所以要按维度减均值、除标准差;但标准化不是无条件的,被筛窄后的维度剩下的可能只是噪声。PCA 先去均值,再用梯度上升找方差最大的方向,投影后减去该成分,可迭代提取多个主成分;它能去噪、能让高维数据用上低维方法,代价是主成分难以解释。

本章展开:统计量相同不等于同分布、边际相同不代表联合相同、多维先看相关矩阵、别用字典当记录、不可变是防错的默认值、坏数据按比例决定处置、不报错的错误最危险、排序加 zip 造出相邻变化、单位决定谁是谁的邻居、PCA 先去掉均值再求方差、降维的代价是可解释性。

原书依据 · 11 处

第11章 机器学习

本章先给模型下定义:模型是不同变量之间数学或概率关系的一份规范,给定输入按固定规则算出输出。商业模型把用户数、每用户广告收入、员工数连到利润,食谱模型把食客数连到原料用量,扑克模型把已出的牌连到胜率,三者的建立方式分别是会计恒等式、厨房试错和概率假设。机器学习在此之上换了一种分工:人不写出完整关系,而是先选定一个参数化的模型族,再让数据决定族里哪个成员最合适。

接着是过拟合与欠拟合。用 0 阶、1 阶、9 阶多项式拟合同一批点:常数线连训练数据都拟合不好,9 阶曲线精确穿过每个点却把噪声也学了进去,1 阶曲线达到平衡。难点在于过拟合在训练集上表现得“更好”,因此不能靠训练误差发现,必须拿一份没参与拟合的数据来量;如果这份数据又被用来在多个模型里挑一个,它就成了第二训练集,于是还要再分出验证集。

评估环节指出准确率在类别不平衡时会骗人:用“名字是否叫 Luke”预测白血病的测试准确率 98.1%,精确率却只有 1.4%、召回率 0.5%,因为它几乎把所有阳性都判成阴性。正确做法是看混淆矩阵四格,再算精确率、召回率与 F1,并按两类错误各自的代价选阈值。

偏差-方差把过拟合变成可操作的诊断:在来自同一总体的许多训练集上重复训练,高偏差意味着模型连训练数据都拟合不好,应加特征或换更复杂的族;高方差意味着换一批数据模型就变样,应减特征、加数据或正则化。更多数据只降方差、不降偏差。最后落到特征:特征是模型的全部输入,原始数据往往要先提取编码,特征类型反过来限制能用的模型,特征太多则用降维或正则化。

本章展开:模型是变量关系的规范、过拟合记住噪声而非规律、训练/测试分离检验泛化、用验证集隔离模型选择、准确率会被不平衡数据骗、精确率与召回率的取舍、偏差-方差权衡、更多数据只降方差、特征既是输入也是上限。

原书依据 · 9 处

第12章 k 最近邻法

最近邻法把“相似”直接当成预测依据。它只要求两件事:有一个距离的概念,以及相信彼此接近的点标签相似。预测一个新点时,取训练集中最近的 k 个已标记点投票,票多者胜。与前面把数据集当整体来学规律的做法相反,它刻意忽略绝大多数数据,每个预测只看一小撮近邻,因此训练阶段几乎不做事,代价全部推到预测时,而且它只能给出预测,不能解释现象背后的驱动因素。

工程上还要处理平票。最简单的计票函数在最高票并列时结果取决于计数器的顺序,等于随机;书里给了三种出路:随机选一个、按距离加权、或不断缩小 k 直到出现唯一赢家。k 本身是平滑参数:k 很小,预测跟着最近那一个点走,一个标错的样本就能在它周围造出错误区域,方差极大;k 增大相当于对邻域投票做平均,噪声被抵消,但邻域跨到别的类别后局部信息被稀释,预测退化为训练集里最常见的类,偏差上升。

鸢尾花例子把流程走了一遍:150 朵花、3 个品种、4 个测量值。四维数据无法直接画,于是画 6 对两两散点图,用三种标记区分品种;图上能看出单靠萼片长宽分不开 versicolor 与 virginica,加入花瓣长宽才分得开。按 70⁄30 切分后取 k=5,45 个测试点只错 1 个。这个例子实际是在检查一件事:在所选的特征空间里,同类是否成簇。

维数灾难解释了为什么最近邻在高维会失效。在 d 维单位立方体中随机取点对,维度升高时平均距离上升,更关键的是最小距离与平均距离之比趋近 1——最近的点几乎和随便一个点一样远。原因是两点必须在所有维度上都接近才算邻近,每增加一维即使只是噪声也提供了把两点推开的机会。另一个角度是稀疏性:50 个点在一维区间里铺得不错,在三维立方体里已是大片空白,更高维时要么扩样本到指数规模,要么先降维。

本章展开:kNN 只依赖距离与邻近假设、平票时缩小 k 再投票、k 值决定偏差与方差、四维数据靠两两散点图看、维数灾难让最近的距离失去意义、高维空间稀疏到填不满。

原书依据 · 6 处

第13章 朴素贝叶斯算法

起点是贝叶斯定理。DataSciencester 的会员之间可以互发邮件,少数人不断发送致富广告和药品推销,于是要判断“一封邮件是不是垃圾邮件”。若已知垃圾邮件中含 bitcoin 的比例、正常邮件中含 bitcoin 的比例,以及垃圾邮件本身的占比,就能把“含 bitcoin 时是垃圾”的条件概率算出来:分子是“既是垃圾又含该词”的概率,分母是“含该词”的概率,因此结果可读作含该词的邮件里垃圾占几成。若再假设垃圾与正常的先验相等,公式退化成只比较两个似然。

一封邮件有几百个词,要算整封邮件的似然就得知道所有词同时出现或同时不出现的联合概率,而语料里几乎没有哪个词组合出现过,无法估计。朴素贝叶斯在这里做了一个大假设:给定邮件是垃圾或不是垃圾之后,各个词是否出现互相独立,于是联合概率拆成每个词边缘概率的连乘。参数个数因此从指数级降到线性级——每个词只需要两个数。这个假设明显是假的:一半垃圾邮件推销比特币、另一半推销劳力士,现实中两者几乎不同时出现,模型却会算出它们同时出现的可观概率。但它抓住了分类真正需要的相对证据,所以仍被真实的垃圾邮件过滤器采用。

落地有三个工程要点。其一,几百个小概率连乘会下溢成 0,改为取对数后相加,再取指数归一化。其二,若某个词只在正常邮件里出现,它的条件概率被估成 0,连乘后整封邮件的垃圾概率被钉死为 0,哪怕它同时含有大量垃圾用语;解法是加伪计数的拉普拉斯平滑,让没见过的组合也有一点概率。其三,预测要遍历整个词汇表,词出现了就累加对数概率,没出现就累加对数(1-概率),因此词表大小直接决定预测开销。

实现上,训练就是数数:遍历标注邮件,累加垃圾与正常邮件数,再把每封邮件分词后计入对应的词频表,一次扫描结束,没有迭代优化。小型单元测试用手算的概率与模型输出对齐,确认实现无误。在 SpamAssassin 语料上只用主题行,得到 84 个真阳、25 个假阳、703 个真阴、44 个假阴,精确率约 77%、召回率约 66%。查看词级后验可见最能判别垃圾的词是 sale、mortgage、money、rates,符合直觉;进一步改进靠更多数据、读正文而非只看主题、忽略低频词、词干化以及加入“含数字”之类的伪标记特征。

本章展开:贝叶斯定理把先验翻成后验、朴素假设:单词在类内相互独立、对数求和替代连乘防下溢、拉普拉斯平滑避免一票否决、训练只是统计词频、用词级后验反查模型、主题行过滤器的实测与改进。

原书依据 · 7 处

第14章 简单线性回归

第 5 章的相关函数只回答两个变量之间线性关系有多强,不回答这种关系具体长什么样。简单线性回归把关系写成一个明确的式子:y 等于常数 α 加上斜率 β 乘以 x,再加一个误差项 ε。ε 收纳所有模型没考虑到的因素,被希望很小但不为零。于是预测变成丢掉 ε、只用 α+βx 给出一个数,而拟合的任务就变成从数据里定出 α 和 β 这两个数。

定 α 和 β 的办法是把每个点的预测偏差平方后求和,再让这个和最小,这就是最小二乘。平方而不是直接相加,是因为正负偏差会互相抵消。解出来的形式很有启发:α 让回归线穿过自变量均值与因变量均值那个点;β 等于相关系数乘以 y 的标准差再除以 x 的标准差,等于把“以标准差为单位的相关”换算回原始量纲。所以相关为 0 时斜率为 0,完全相关时 x 每动一个标准差、预测值正好动 y 的一个标准差。同一个最优解也可以用梯度下降逼近,两者结果一致。

模型好不好用 R 平方衡量:它是 1 减去误差平方和与总平方和之比,而总平方和正是“永远预测均值”这个最笨模型的误差,所以 R 平方读作“相对基线消除了多少误差”。本例只有 0.329,说明大部分变化来自模型之外。最后一个问题是为什么要用平方而不是别的损失:若假设误差独立地服从均值 0 的正态分布,最大化生成这批数据的似然,其对数中的指数项正好退化成平方项,最小二乘就是最大似然。误差不服从正态时,这个等价关系不再成立。

本章展开:用直线加误差描述关系、平方误差避免正负抵消、最小二乘解的统计直觉、R² 衡量相对均值的改进、正态误差下最小二乘即最大似然。

原书依据 · 5 处

第15章 多元回归

简单回归只有一个自变量,多元回归把它推广到多个:每个样本写成一个向量 [1, x1, …, xk],第一个分量固定为 1 用来吸收常数项;参数也写成等长向量 β = [α, β1, …, βk],预测就是两者的点积。这样误差、梯度、惩罚项的写法都不再随变量个数改变。类别属性靠虚拟变量进入模型——有博士学位记 1,没有记 0——因为模型只认数值。本例加入工作时长与学历后,R 平方从 0.33 升到 0.68。

要让这套解有意义,还需要两个假设,它们各自保护不同的东西。第一,自变量各列线性无关:如果两列完全相同或能互相线性表出,把一列系数加 c、另一列减 c 而预测不变,系数就无法确定,这就是多重共线性。第二,自变量与误差不相关:若真实模型中还有一个既影响 y、又与 x 相关的变量被漏掉,它的效应会被错误地全部算到 x 头上,使系数产生系统性偏差——书中用“朋友多的人工作时间也长”演示了斜率被低估的过程。这类偏差不会随样本变多而消失。

拟合靠梯度下降最小化误差平方和,得到系数后要注意它们的解释方式:每个系数都是“其他条件相同”下的效应,即固定其余变量后,该变量每增加一个单位带来的平均变化。模型是相加的,捕捉不到交互作用——工作时长对朋友多的人和对朋友少的人影响可能不同;要表达这种差别得手动加入乘积项或平方项,而一旦开始加这类项,可加的数量没有上限,需要额外判断哪些真的重要。

拟合优度仍用 R 平方,但它在这里有陷阱:简单模型是多元模型“新系数全为 0”的特例,最小二乘只会让误差更小,所以加变量必然使 R 平方上升,哪怕加进去的是纯噪声。因此还要看系数的标准误差,衡量每个估计值有多可靠。得到标准误差有两条路:一是假设误差独立正态、用线性代数算出;二是 Bootstrap——有放回重采样、每次重算 β,看它在各样本间摆动多大。再用估计值除以标准误差做检验,就得到 p 值。

变量很多时会出现过拟合与解释困难,正则化用来对冲:在误差项上加一个随 β 增大而增大的惩罚,最小化“误差 + 惩罚”。惩罚越重系数被压得越小,拟合变差但更稳。岭回归罚系数平方和,效果是整体收缩;lasso 罚绝对值之和,倾向于把系数压到 0,从而得到稀疏模型。两者的取舍是“缩小”还是“筛掉”,且用之前通常要先重新缩放数据,否则单位变化会让惩罚强度失真。

本章展开:多元回归把自变量堆成向量、自变量共线则系数不可辨识、漏掉变量会让系数有偏、系数只在其他条件相同时成立、R² 变大不代表模型变好、Bootstrap 重采样估稳定性、标准误差判断系数是否可信、正则化用惩罚压制大系数、岭回归收缩、lasso 稀疏。

原书依据 · 9 处

第16章 逻辑回归

这一章回到第 1 章的问题:预测哪些用户会为高级账户付费。数据里每个用户有工资、作为数据科学家的工作年限,以及是否付费这个 0/1 标签。最自然的尝试是把标签当数值做线性回归,但立刻出问题。第一,线性模型的输出没有边界,可能给出负数或远大于 1 的值,负数无法解释为概率。第二,也是更根本的:实际值最大只能是 1,所以自变量越大、预测值越高,误差的负向部分就越大,误差与自变量系统性相关,违背了线性回归赖以成立的假设,系数因此有偏。

解法是先把线性部分压进 (0,1) 区间,再把它当概率。logistic 函数 1/(1+e^{−x}) 正好做这件事:输入很大的正数趋近 1,很大的负数趋近 0,中间近似线性;它的导数恰好是 y(1−y),让梯度计算非常干净。于是逻辑回归的输出是一个概率,dot(β, x)=0 的那组点构成分类边界——一个把参数空间一分为二的超平面。

拟合方式随之改变。线性回归最小化平方和,而这等价于正态误差下的最大似然;0/1 标签的误差不可能是正态的,两者不再等价,所以这里直接最大化似然:每个点的概率统一写成 p^y(1−p)^{1−y},独立样本的总似然是连乘,取对数把连乘变求和,再取负号交给梯度下降最小化。副作用是系数不再好解释——它作用在压扁之前的分数上,同样的增量在概率接近 1 时几乎无效,在接近 0 时却影响很大,能说的只有方向。

评估用留出的测试集,把预测概率按 0.5 切开,得到真正例、假正例、真负例、假负例四格,再由它们算出精确率(判为付费的人里有多少是真的)与召回率(真正的付费用户抓到了多少)。本章最后引出另一种分类思路:不追求某个似然最优,而是直接找能把两类分开、且离最近点最远的超平面,这是支持向量机;当这样的超平面不存在时,可把数据映射到更高维,并用核函数避免真的做这次映射。

本章展开:线性回归做分类会越界、logistic 把任意数压成概率、逻辑回归最大化似然、逻辑回归系数不是概率增量、精确率与召回率各答一问、核技巧免去真的升维。

原书依据 · 6 处

第17章 决策树

决策树把一次预测表示成一串判断:内部节点问一个关于属性的问题,按答案走到不同子树,叶节点给出结论。它和“20 个问题”的游戏同构,每问一次就切掉一部分可能性。相比前面几章的回归模型,它的长处是透明——可以逐条讲给人听——而且能直接处理数值与类别混合的属性,甚至对缺属性的样本分类。短处同样明显:为一组训练数据找“最佳”树是很难的计算问题,实践中只能贪心地造一棵“足够好”的树,规模一大计算量仍受挑战,而且极易对训练集过拟合。

要决定问哪个问题,先要有一个衡量“不确定性”的尺子,这就是熵:−Σ p log p。所有样本同类时熵为 0,类别均匀分布时熵最大;每一项都非负,p 接近 0 或 1 时该项趋近 0。单看一个数据集的熵还不够,因为一次提问会把数据切成多个子集,所以要把各子集的熵按样本比例加权求和,得到“划分熵”。加权是这里的关键:只把一小撮样本分得很纯、其余一大团仍然混乱,整体熵几乎不降。

划分熵有一个陷阱:按取值很多的属性划分,容易得到过低的熵。极端例子是用身份证号划分客户,一人一个子集,每个子集只有一条记录,熵必然是 0,看起来完美,但这种划分只是把训练集背了下来,对新数据毫无用处。所以建树时要避开或直接删掉这类高基数属性。建树本身用 ID3:若数据只剩一种标签就造叶节点;若没有属性可问就用多数标签造叶节点;否则算每个属性的划分熵,选最小的建节点,再在每个子集上递归且不再复用该属性。这是贪心算法,会错过“第一步看起来差、整体却很好”的树。

正因为递归一直做到每个叶只剩一种标签,树必然把训练集分得干干净净——这既是它的能力,也是过拟合的来源:模型学到的是这批样本的偶然细节而不是规律,换一批数据就可能崩掉。缓解有两条路:限制树的复杂度(深度、叶节点最少样本数),或者造很多棵树把各自的偶然性平均掉,后者就是随机森林。

随机森林用两个随机源制造差异。其一是 bagging:每棵树在一份有放回抽样(bootstrap)的数据上训练,各树看到的数据不同,错误也就不完全相关,预测时分类投票、回归取均值。其二是特征随机化:每次分割不从全部剩余属性里挑,而是先随机取一个子集再在其中选划分熵最小的,避免所有树都在同一个最强属性上做第一次分割。这是集成学习的实例——把若干弱学习器组合成一个更强的整体,代价是失去单棵树那种可以讲清楚的透明性。

本章展开:决策树是逐层提问的树、熵衡量标签分布的不确定性、按划分熵而非准确率选问题、高基数属性会造出假零熵、ID3 每一步只选当前最优、树越纯越容易过拟合、随机森林靠双重随机降方差、树天然吃混合类型与缺失值。

原书依据 · 8 处

第18章 神经网络

神经网络从神经元这个最小单位开始:把输入乘权重求和、加偏置,再判断加权和是否超过阈值。这个结构等价于一个线性分类器,因为激活条件 dot(weights, x) + bias >= 0 定义了一个超平面,把输入空间切成两半,权重决定方向、偏置决定偏移。书中用同一套权重取值搭出与门、或门、非门,说明线性可分的逻辑函数都能表达;而异或的正负样本交错分布,任何一条直线都切不开,单层感知器的能力边界由此被划清。

前馈神经网络用分层突破这个边界。输入层不做变换,隐藏层以上一层输出为输入,输出层给出最终结果。把偏置追加到权重向量末尾、输入末尾补一个恒为 1 的分量,网络就简化成“向量的列表的列表”,feed_forward 只需逐层变换。异或的例子说明隐藏层的真正作用是造出新特征:一个神经元算“与”,一个算“或”,输出层再判断“或的结果不同于与的结果”。多层带来的是换一个线性可分的中间表示,而不是单纯更多参数。

权重不靠手写,而靠反向传播加梯度下降来确定。损失取误差平方和,输出层的 delta 是 output(1-output)(output-target),隐藏层的 delta 则是本地导数乘以“下游各 delta 按连接权重加权求和”。这本质上是链式法则在每一层重复同一个动作:本地导数乘以上游传回的梯度,因此一次前向、一次反向就能得到全部参数的梯度。代价是必须缓存前向的中间结果,并且网络中每个参数向量都要各自走一步更新,训练要反复多轮直到收敛。

Fizz Buzz 例子把整章落到工程细节:输入用 10 位二进制而非原始数值,因为数值大小携带了与整除无关的顺序信息,单个输入也让隐藏层无特征可算;输出用四维独热向量,预测时取 argmax 还原标签;训练区间取 101~1023,把 1~100 留作考卷,否则等于把答案直接交给模型。最终 96⁄100 的准确率说明这套机制可行,也说明网络学到的是位模式与整除的关系,而不是人写的规则。

本章展开:感知器只是线性分类器、异或暴露单层的极限、隐藏层负责造特征、平滑激活函数为求导、偏置并入权重向量、反向传播复用链式法则、Fizz Buzz 输入要选编码、训练集不能碰考题。

原书依据 · 8 处

第19章 深度学习

这一章把第 18 章的临时写法抽象成可组合的框架。起点是张量:向量、矩阵和更高维数组统一当作 n 维列表,用 shape 读形状、用 is_1d 判断是否到底,再用递归的 tensor_apply 与 tensor_combine 处理任意维。在此之上定义层——每一层知道怎样把输入变成输出(forward),也知道怎样把“损失对输出的梯度”换算成“损失对输入的梯度”(backward),并声明自己的参数与对应梯度。有了这个契约,后面所有网络都只是层的不同组合。

线性层与激活层是最基本的两种层,Sequential 把它们串起来:前向按顺序走、反向按倒序走,参数和梯度依次拼接,于是整个网络自身也是一个层。配合 Loss(给出损失标量以及对预测的梯度)和 Optimizer(拿参数和梯度做更新),训练循环与具体模型彻底解耦:换损失、换优化器、换结构都不必改写循环。书中用这套框架重跑异或,十几行就复现了第 18 章手写网络的效果,也顺带说明手推的权重与训练得到的是同一件事的不同解。

实现细节里藏着几个成败点。权重初始化不当会把激活推进饱和区、让梯度归零,Xavier 初始化按层宽调整方差来缓解;Python 里更新参数必须用切片赋值,否则只改了局部名字、权重纹丝不动;动量优化器用指数平滑累计梯度均值,抑制单步噪声带来的抖动。激活函数也从 sigmoid 换成更合适的:sigmoid 在 0 处输出 0.5 造成系统性偏移,两端梯度消失;tanh 零中心,ReLU 在正区间导数恒为 1。

分类任务的最后一步是把输出概率化。softmax 用 exp 归一化把得分变成和为 1 的概率向量(先减去最大值以防溢出),交叉熵则只保留正确类那一项 -log p,等于观测数据的负对数似然,其对网络输出的梯度简化为 p - actual。它比“sigmoid 加平方误差”收敛快得多的原因是目标更宽松:前者要求正确类是大正数、其余是大负数,后者只要求正确类的得分最大。Dropout 在训练时随机关闭神经元、评估时按 1-p 缩放输出,用每次不同的子网络逼出冗余特征,从而抑制过拟合。

MNIST 把全部部件组装成完整流程:图像展平为 784 维并减均值缩放,标签做独热编码,模型、数据、损失、优化器一起交给同一个训练循环;单层线性模型充当逻辑回归基线约 89%,两层 tanh 加 dropout 后超过 92%。最后把权重存成 json、加载前先实例化并校验形状,是为了不必每次重训。作者也点明了边界:列表实现的张量很慢,卷积层这类重要结构没有涉及,训练成本是这套教学框架的主要限制。

本章展开:张量是可递归的高维列表、层把前向与反向打包、初始化决定能否训练、Sequential 把层序列折成一层、损失与优化器各管一段、参数更新必须切片赋值、动量平滑梯度方向、sigmoid 的两个结构性缺陷、softmax 把得分变成概率、交叉熵为何收敛更快、Dropout 用随机失活防过拟合、输入预处理决定训练效果、只存权重的模型序列化。

原书依据 · 13 处

第20章 聚类分析

聚类是把没有标注的数据按相似程度分成若干组的方法,属于无监督学习:算法只看输入向量本身,不使用任何标签。这一章反复强调的前提是,聚类通常没有唯一正确的答案——同一批选民的统计数据,既可以按年龄分组,也可以按收入分组,哪种更好取决于你打算拿分组结果做什么。簇也不会自带标签,跑完算法拿到的只是编号,必须回头查看每组成员的具体数据,才能说出这一簇是什么人。

k-均值把这件事变成一个优化问题:先指定簇数 k,再最小化每个点到所属簇中心的平方距离之和。由于穷举所有划分不可行,它采用交替迭代:固定中心时把点分给最近的中心,固定分配时把中心移到簇内均值,两步都使目标不增,直到没有点改变归属。这个过程一定在有限步内停下,但停下只是局部最优,换个初始划分可能落到另一个结果,所以簇编号和边界不能当成客观事实。

k 经常不由算法决定。预算只够办两场聚会,k 就是 2;印刷机只能印五种颜色,k 就是 5。没有外部约束时,可以把总平方误差画成 k 的函数,在曲线由陡转平的“肘部”取 k,但拐点往往并不锐利,需要和业务判断一起看。聚会选址和图像减色两个例子说明,k-均值真正产出的是“代表值”:三个聚会地点、五种代表色,都是各自簇内点的均值。

层次聚类走另一条路:从每个点自成一簇开始,每轮合并最近的两个簇,并把合并次序记下来。有了这棵合并树,想要几个簇就撤销最后几次合并,不必重跑算法,这与 k-均值每次改 k 都要重训、且结果之间没有包含关系形成对照。它最关键的参数是簇间距离的聚合方式:取最小距离容易沿相邻点连锁成细长链状簇,取最大距离倾向于得到紧凑的球状簇,取平均则介于两者之间。代价是每轮都要重算大量点对距离,朴素实现随点数急剧变慢。

本章展开:聚类没有唯一正确答案、k-均值靠两阶段交替、迭代必然停下但未必最优、用误差肘部挑选 k、五色图像就是五个中心、自底向上合并并记录次序、簇间距离决定聚类形状、层次聚类的代价在重复计算、只有低维才能用眼睛验收。

原书依据 · 9 处

第21章 自然语言处理

自然语言处理是让计算机处理语言的各类技术,这一章只挑了几件能亲手实现的事。起点是把网页文本切成单词序列,然后做语言模型:n-gram 假设下一个词只取决于前面 n-1 个词,于是语言变成一张“上一词→候选下一词”的计数表,生成时顺着表随机游走。词对频率决定二元模型,最近两个词决定三元模型;阶数升高让局部更通顺,但候选变少,输出容易逐字复现原文,语料不足时很多转移干脆没有候选。

语法提供了另一种建模方式:一套重写规则,非终端符号继续展开,终端符号就是词。因为规则可以引用自身,有限条规则能生成无限多句子;把过程反过来,给定句子去匹配规则,就能识别主语、动词等成分,用于理解而不只是造文本。规则要人写,覆盖不了真实语言的全部例外,规模一大就难维护。

主题建模要在文档层面找结构,而它依赖的吉布斯采样是一种绕开联合分布的抽样技巧:当每个变量的条件分布容易写、联合分布难求时,就轮流用条件分布更新各个变量,多轮之后样本近似服从联合分布。LDA 把这套办法用在“文档—主题—词”的两层分布上:每篇文档有主题比例,每个主题有词的分布,每个词先抽主题再抽词。训练时逐词重采样主题,靠的是文档中主题的占比与词在该主题中的占比相乘作为权重。

词向量把词压成低维实数向量,依据是分布式假设:常出现在相似上下文中的词,意思相近。做法是训练一个用邻近词预测目标词(或反过来)的网络,训练完把嵌入层的权重表当成词向量。于是相似度变成余弦相似度,向量还能做 king 减 man 加 woman 约等于 queen 这样的算术。但向量只反映它读过的语料:在人造句子里,bed 和 cat 会因位置相同而被判为相似,这不是词义,是语料结构。

循环神经网络解决的是词序问题:句长可变,求和或平均会把“狗咬人”和“人咬狗”压成同一个输入;RNN 用隐藏状态把上一个词的信息带到下一个词,输出因此依赖整个前缀及其顺序。最简单的实现每步都用全部状态重算并覆盖旧状态,梯度沿时间反复相乘,学不到长期依赖,所以实践中要用带门控的 LSTM 或 GRU。字符级 RNN 生成公司名是这套机制的微型演示:逐字符预测并采样,产出的是拼写风格,能不能用还得人来挑。

本章展开:词云的位置没有含义、n-gram 只依赖前几个词、阶数越高越通顺也越像原文、语法用规则递归生成句子、只知道条件分布也能采样、LDA 的三层生成故事、逐词重采样训练 LDA、上下文相似则向量相近、词向量就是一张查找表、词向量只反映它读过的语料、RNN 用隐藏状态携带顺序、简单RNN记不住长期依赖、字符级 RNN 造名字。

原书依据 · 13 处

第22章 网络分析

把数据看成网络,就是把人、网页、商品当节点,把关系当边。边是否有方向决定了很多事:Facebook 好友是互反的,用无向边;超链接是单向的,用有向边,因为我可以链到白宫而白宫不链我。在第 1 章数朋友个数的度中心性之外,本章给出三种更细的重要性度量,它们都建立在同一张 DataSciencester 好友图上:中介中心性看谁经常落在别人的最短路上,接近中心性看谁到所有人都近,特征向量中心性看谁被重要的人连接。前两种要先算出全对最短路径,代价高,因此在大型网络上不受欢迎;第三种只要反复做矩阵乘法,反而更容易扩展。

中介中心性的定义要求知道每一对节点之间有哪些最短路径,而不只是最短距离,于是用广度优先搜索逐对枚举:队列保证按层推进,第一次到达即最短;遇到等长的新路径就追加,遇到更长的就丢弃。每条最短路按 1/路径数 给中间节点记分,累加后就是中心性。书中 Thor 之所以突出,是因为 Chi 到 Clive 的唯一通道经过他。接近中心性复用同一批最短路,把距离求和取倒数,衡量的是传播距离而非通道数量。两者都只在小图上实用,且分数只有相对意义,绝对数值不可解释。

特征向量中心性解决的是一个循环定义:你的重要性取决于邻居的重要性,邻居的又取决于你。把它写成方程,就是邻接矩阵的特征向量——每个人的分数等于邻居分数之和的固定倍数。求解靠幂迭代:随机初始化,反复执行“新分数等于邻居旧分数之和”并归一化,直到向量方向不再变化。矩阵乘法在这里的角色是把“沿边求和”变成一次线性映射,因此迭代就是反复施加同一个映射。这个办法简单到能在大图上跑,但不保证收敛:旋转矩阵没有实特征向量,坐标交换矩阵会来回震荡。小图上结果还很不稳定,加删一条边就可能改写排名。

当关系变成单向的“认可”,无向图换成有向图,票数本身很容易被刷——注册小号互认即可。PageRank 让票带上权重:被高分者认可更有价值。总分固定为 1,每轮每个节点把 damping 比例的分数按出链均分,剩下的平均撒给全网,迭代到稳定。它和特征向量中心性是同一个不动点思想,只是多了有向边与随机跳转。阻尼项的存在让没有出链的节点和封闭小圈子无法把分数吞掉,保证每个节点都有非零的到达概率,也让迭代收敛。书中 Thor 只拿两票却排第一,正因为这两票来自只认可他一人、无需分摊的高分用户。

本章展开:网络:节点、边与方向、中介中心性度量“桥”、广度优先枚举全部最短路径、接近中心性看疏远度、矩阵乘法视为线性映射、幂迭代逼近特征向量、特征向量中心性是不动点、特征向量中心性对结构敏感、PageRank 按分量加权、阻尼系数防止分数被吞。

原书依据 · 10 处

第23章 推荐系统

推荐系统的任务是根据用户已有的行为,猜他还会对什么感兴趣。最原始的办法是人工推荐,像图书馆员那样凭经验挑书;规模一大就受限于人的知识和精力。退一步的自动化方案是统计全体用户里最流行的兴趣,把用户还没有的推给他——实现只要一次计数,但所有人拿到同一张榜单,个性化程度为零。它的价值只剩冷启动:新用户一无所知时,流行度至少不会错得太离谱,同时它也是检验后续方法是否真的有效的基准线。书中用一份 15 个用户的兴趣列表贯穿三种方法,始终围绕同一个问题:怎样把“别人喜欢什么”变成“你可能喜欢什么”。

协同过滤的第一种做法从人入手。把所有出现过的兴趣排成坐标轴,每个用户写成 0/1 向量,用余弦相似度衡量两人兴趣方向是否一致;有了相似度,就能取最相似的若干用户,把他们拥有而目标用户没有的兴趣按相似度加权累加,作为推荐。这条链条的每一步都便宜,问题出在维度上:兴趣种类一多,向量彼此近乎正交,“最相似用户”其实谁都不像,最近邻失去意义,这也是亚马逊式长尾购买历史无法匹配任何人的原因。所以基于用户的方法只在兴趣维度可控、用户规模不大时可靠。

第二种做法把矩阵转置,改为比较兴趣与兴趣。转置后每一行是一个兴趣的“用户出席向量”,两行求余弦,就得到两个兴趣被同一批人喜欢的程度;推荐时对用户已有的每个兴趣查出相似兴趣再加权汇总。它与基于用户的方法在数学上是同一套工具,但比较对象的稳定性不同:用户数增长快、流动大,物品集合相对稳定,物品相似度可以离线算好复用,推荐理由也更容易说清(因为你关注了 Hadoop)。究竟选哪一侧,取决于哪一侧更稳定、更新更便宜,以及是否需要向用户解释原因。

有真实评分(1~5 星)时,问题变成填满评分矩阵的空格。矩阵分解假设每个用户和每部电影各有一个低维隐向量,两者的点积就是预测评分,于是大矩阵被压成两个小矩阵的乘积,参数从百万级降到与用户数、物品数之和成正比。隐向量用梯度下降训练:误差对用户向量的梯度是“误差 × 电影向量”,对电影向量的梯度是“误差 × 用户向量”。这条路能显著优于“全猜平均分”的基准(误差 1.26 降到约 0.89),但维度一高就过拟合,而真正没解决的是稀疏与冷启动:没评过分的用户和没人评过的电影,向量始终停在随机初值,模型对他们无话可说。

本章展开:流行度推荐只适合冷启动、兴趣向量与余弦相似度、相似用户的兴趣加权汇总、高维兴趣下最近邻失效、转置矩阵后算物品相似度、用户侧与物品侧的取舍、评分矩阵分解为隐因子、用梯度下降学嵌入、嵌入维度与过拟合、未评分与冷启动。

原书依据 · 10 处

第24章 数据库与 SQL

关系数据库以表为基本存储单位,而表不只是二维数组:它在创建时就带有一份固定的模式,规定列名、每列类型以及是否允许为空。这份模式让数据库能在写入时就拒绝不合格的数据,代价是结构变更需要迁移。本章用 Python 手写一个 NotQuiteABase,把每一行实现成“列名到值”的字典,并逐步补上插入、更新、删除、查询的方法,目的是让 SQL 的每条语句都能在代码层面找到对应动作。

数据操作语句的共同结构是“目标 + 谓词 + 新值或新形态”。INSERT 校验值的数量与类型;UPDATE 要说明改哪张表、哪些行、哪些字段和新值;DELETE 只由 WHERE 决定删多少行。谓词在这套实现里默认恒为真,因此省略 WHERE 不是无害的缩写,而是把操作扩大到全表。SELECT 则不同,它不修改原表,而是返回一张新表,再通过 where、select、limit、order_by 链式组合出结果。

当问题从“取哪些行”变成“每组算一个数”时,就要用 GROUP BY:按键把行装桶,再对每个桶整体运行 MIN、COUNT、SUM 等聚合函数,一个桶产出一行。SELECT 中未被聚合的列必须出现在 GROUP BY 里,否则同组内多值无法确定。WHERE 在分组前逐行过滤,HAVING 在分组后按组过滤,这决定了条件该写在哪一侧;ORDER BY 则是对最终结果排序,与分组无关。

多值属性(如一个用户的多个兴趣)不能放进一格,于是拆成独立表,用 user_id 做一对多关联,这就是规范化。要跨表分析就得 JOIN:按 ON 的键让左表每行与右表匹配行组合,一个键匹配 k 次就产生 k 行,所以连接会放大行数;LEFT JOIN 额外保留未匹配的左行并补 NULL。子查询把一次查询的结果再当表使用。最后,索引以额外存储换取按键快速定位、可连接的顺序和唯一约束,正是为了避免全表扫描与逐行比对;查询优化(如先过滤再连接)和 NoSQL 家族则分别交给引擎和特定负载去解决。

本章展开:表是带模式的行的集合、更新与删除的谓词边界、查询返回新表而非改动原表、NULL 让比较变三值、GROUP BY 折叠行成组、HAVING 在聚合后过滤、多值属性拆成独立表、JOIN 会放大行数、索引以空间换查找、先过滤再连接更快、NoSQL 放弃固定表结构。

原书依据 · 11 处

第25章 MapReduce

MapReduce 处理的是“一堆待处理项”,例如日志行、文档或图片。它把计算固定成三步:mapper 把每一项变成零个或多个键/值对;系统把键相同的对收集到一起;reducer 对每个键的全部值算出一个输出。mapper 与 reducer 都只是普通函数,只依赖自己收到的输入,所以可以任意分片、在多台机器上同时执行。单词计数是最小例子:mapper 对每个词发 (词, 1),收集后 reducer 求和,得到每个词的总次数。

它的价值不在算法本身,而在把计算搬到数据所在的机器。单机做法要求所有文档先集中到一台机器、再一个个处理,数据量一大就放不下;分布式做法让每台机器只处理自己的分片,产出的键/值对按“同键同机”送给 reducer,各 reducer 之间不通信。于是机器翻倍、每台工作量减半,速度约翻倍,但前提是不同键足够多,否则少数热点键会把某个 reducer 压垮。中间那一步按键跨网络重分配(常称 shuffle)通常才是瓶颈,数据量与网络开销远超本地计算。

把 map/reduce 抽象成通用框架后,问题就变成“选什么键”:键决定分组方式,也就决定 reducer 能看到哪一组完整数据。找“每个用户最常用的词”必须以用户名为键,reducer 才能看到此人的全部单词;把词或“用户+词”作键,都会让 reducer 失去可比较的对象。状态更新的几个例子(按星期统计、每人最高频词、每人不同点赞者)都只是在换 mapper 发出的键和值,reducer 复用 sum、max 或去重计数即可。

矩阵乘法展示了另一类适配:矩阵常常稀疏,稠密存储放不下海量条目,只记非零项后,存储与计算都随非零个数增长。又因为 A[i][j] 只影响 C 的第 i 行、B[i][j] 只影响 C 的第 j 列,mapper 可把每个非零元素广播到它参与的输出坐标,以 (i,j) 为键,reducer 配对相乘再求和,每个输出元素彼此独立。combiner 则在 mapper 本机先做局部归约,把 500 个 (词,1) 合成 (词,500),减少跨机传输;它要求归约可结合,也要求 reducer 对值求和。

本章展开:MapReduce 的三个步骤、并行度受键的多样性限制、按键重分配是瓶颈、组合器减少跨机传输、选键决定 reducer 视野、稀疏矩阵只存非零项、矩阵乘法为何适合并行、聚合函数可与分组解耦。

原书依据 · 8 处

第26章 数据伦理

数据伦理是判断涉及数据的行为对错的框架,而不是一张“能做/不能做”的清单。起因是几类高关注度事故:Cambridge Analytica 不当获取 Facebook 数据用于政治广告、Uber 测试车撞死行人、用算法预测再犯风险决定刑期、航空公司拆散家庭座位再收选座费。作者不打算给出裁决,因为这些问题本身变化很快;理性的做法是承认人们会在微妙处长期分歧,把力气放在“愿意考虑后果”上,而不是要求别人接受自己那一套结论。

技术工作的伦理负担之所以显得特殊,靠的不是“技术”这个词,而是规模。新闻推荐算法的一处小改动决定数百万人会不会看到某篇文章;一个全国部署的假释评分如果带缺陷,就统一地作用在所有人身上,而凭直觉断案的假释委员会只影响坐在它面前的当事人。人工错误分散、彼此独立,算法错误统一、可复制且难以逐个申诉。由此得到一条实用判据:产出被复制得越多、越难被纠正,发布前的检查就越该严;反过来,一次性、小范围的分析不必套用同样强度的审查。

大量事故不是有人权衡后决定作恶,而是产品做出来却没人设想它会被怎么用。Tay 上线几小时就被用户教成发布冒犯性内容的机器人;Google 相册把非裔美国人的照片标为“大猩猩”,更可能源于训练数据覆盖不足和模型错误,而非谁的明确决定。这类错误在总体指标上微不足道,在特定输入上却极具侮辱性,而输入空间无法枚举,所以“在多样化数据上训练和测试”只能降低概率,不能保证不出丑。Google 最后直接拒绝预测“大猩猩”,那是把失败藏起来,不是修好。

公平很难和准确同时定义清楚。一组整体表现良好的预测,按 A、B 两组拆开后,四个说法都能从同一张表推出来:A 有 80% 被归入“不太可能”而 B 只有 20%,所以预测分布失衡;两组内“可能”都对应 60% 的行动率,所以模型含义一致、可称准确;B 的假阳性率 32% 远高于 A 的 8%,若“可能”是坏标签则 B 被冤枉;A 的假阴性率 16% 远高于 B 的 4%,若“不太可能”是坏标签则 A 被冤枉。哪条成立取决于用途、群体在语境中的含义以及哪种错误更不能接受。

可解释性是另一处必须付代价的取舍。能排序的模型只给出概率,能解释的模型才告诉人该改什么:说得出“因为加班多、薪资低于同岗”的离职模型,能推动制度调整;黑箱最多支持一次挽留谈话。但通常最准的模型最难解释,可解释模型往往准确率更低;更隐蔽的问题是解释未必是真实原因——高薪“挽留专家”讲得头头是道,却没有机制保证那套说法对应他实际的判断过程。涉及法律、人身自由或不可逆机会时,通常值得用性能换解释。

偏差不会因为“用算法代替人”而消失,反而可能被写成规则。词向量按分布相似性训练,若新闻报道里的软件工程师多为男性,“软件”就会更靠近男性一侧的词,下游应用全部继承这个距离。更麻烦的是闭环:用历史再逮捕记录训练假释风险模型,若当年的逮捕对某些群体更严厉,模型学到的就是“警察会抓谁”,再用它决定谁被关更久,新记录又被这份判决污染,偏差于是以“预测准确”的名义固化。数据共享一侧也是同理:服务条款授权公司几乎可用数据做任何事,但这只是合法,向广告商、学者、政治组织、执法部门开放各有不同的反对理由。

本章展开:伦理是框架,不是戒律、规模决定伦理责任大小、坏产品源于没想到滥用、一张表四种公平指控、可解释性要拿性能换、偏差被模型写成规则、条款授权不等于正当。

原书依据 · 7 处

第27章 数据科学前瞻

这一章是从“学完本书”到“继续往下走”的路线图,分三块:工具环境、知识深度、数据与项目。工具方面,IPython 提供比标准 shell 更强的交互能力并支持魔法函数,Jupyter Notebook 能把文本、代码与图形放在一起,但作者明确转为怀疑者,认为它会让初学者混淆、养成不好的编码习惯;数学方面,本书只覆盖了线性代数、统计学、概率和部分机器学习,要成为优秀的数据科学家需要比这更深,继续靠教科书、网课或线下课程补。

库的部分给出了一条清晰的判断:从零实现算法的价值在于理解机制,但对性能、易用性、快速成型和误差处理都不理想,实践中应当使用经过检验的库。学库的顺序由依赖关系决定:NumPy 提供数组与数值函数,是 pandas、scikit-learn、matplotlib 的共同地基,所以最值得先学;pandas 用 DataFrame 处理数据集,scikit-learn 承担建模与优化,可视化可以从 matplotlib 深入,也可以转向 seaborn、D3.js 或 Bokeh。R 与深度学习框架只给了立场与偏好。

最后是“做点什么”。数据集可以从 Reddit 的 r/datasets、亚马逊公共数据集、Kaggle、Google Dataset Search 等处获得,但作者认为最好的项目来自让自己心动的问题,并给了四个亲历例子:为过滤 Hacker News 文章训练朴素贝叶斯分类器(还顺手告诫别用错工具)、抓取多年火警记录做消防车社交网络分析并自造 TruckRank、用逻辑回归和主成分分析区分男女童 T 恤、监听带地理标记的推文并让地球仪转过去。它们的共同结构是一个自己每天遇到的判断、可得的数据、刚好够用的方法。

本章展开:不从零开始造轮子、NumPy 是生态的地基、项目选题从自己的困扰出发。

原书依据 · 3 处

跨章综合

把 27 章放在一起看,会发现三组反复出现的对照。

表示与计算。 第4章的向量、第19章的张量、第22章的邻接矩阵、第23章的评分矩阵,本质是同一种东西:把现实对象排成数组,让”关系”变成乘法。书中几次关键跳跃——用矩阵乘法迭代特征向量中心性、用矩阵分解补全评分、用张量批量前向传播——都是先找到正确的表示,计算就变得平凡。反过来,第12章的维数灾难说明表示选错时,再多数据也救不回来。

拟合与泛化。 第8章让模型能拟合,第11章立刻问它能不能泛化,第15章的正则化、第17章的随机森林、第19章的 Dropout 都是同一个问题的不同解法:给模型加约束,让它别把噪声当信号。这条线索贯穿全书,也是判断一个新模型时最该先问的问题。

技术与责任。 第26章不是附加的一章,而是对前 25 章的一次反问:一个准确的模型如果只服务于已有用户、如果用代理指标替代真正目标、如果无法解释为什么拒绝了一个人,它在什么意义上算是”work”了。第7章的 p-hacking 与第26章的”建立不良数据产品”其实是同一种失败——用技术手段掩盖判断上的偷懒。

发散与实践

以下为读者延伸,不是作者观点,也未执行。

  • 用第5–7章的统计量重做一次自己手头的数据探索,重点看辛普森悖论是否出现。
  • 用第8章的梯度下降手写一个线性回归,再与成熟库对比收敛路径,观察步长的影响。
  • 用第11章的偏差-方差框架评估一个正在用的模型,判断它当前是欠拟合还是过拟合。
  • 用第26章的清单审一次自己参与的产品,找出”代理指标替代真正目标”的地方。
生成进度与管理记录

数据科学入门(第2版)

评级:经典原理(信息浓度高 × 稳定性高)

评级理由:全书用 27 章从零搭出一条完整的数据科学链路——先用 Python、可视化、线性代数、统计学、概率、假设检验与梯度下降把”零件”造出来,再用同一批零件亲手实现 kNN、朴素贝叶斯、回归、决策树、神经网络、深度学习、聚类、NLP、网络分析与推荐系统,最后落到数据库、MapReduce、数据伦理与前瞻。它的重心不在库的用法,而在”这个东西为什么这么做”:为什么样本方差要除以 n−1、为什么相关系数只能捕捉线性关系、为什么梯度的反方向是最速下降、为什么决策树用熵而不是准确率选分割、为什么朴素贝叶斯的”朴素”假设明显不成立却仍然有用、为什么协同过滤在稀疏矩阵上会退化、为什么 p-hacking 会系统性制造假发现。这些推理不随工具版本变化。代码基于 Python 3.x 与少量第三方库(matplotlib 只在第3章、NumPy/pandas 只在第27章介绍),代码本身会过时,但每段代码都在演示一个不依赖版本的思想,故稳定性判为高。

执行模式:light

建档进度:done

全文阅读:spine 37 项,实质正文 29 项(第2版前言、第1版前言 + 第1–27 章,约 307,792 个非空白字符),按 Go nodeText + Fields 归一化口径逐项完整读取;非正文 8 项逐项排除(见下表)。

整书笔记:_book_note.md(全书导读、全书主线、前言与 27 章正文、跨章综合、发散与实践)

覆盖记录:_coverage.md

工作流交接:_workflow.md

章节进度追踪表

章节号 章节标题 状态 卡片数
00 前言(第2版、第1版) done 3
01 第1章 导论 done 8
02 第2章 Python速成 done 13
03 第3章 数据可视化 done 5
04 第4章 线性代数 done 5
05 第5章 统计学 done 9
06 第6章 概率 done 8
07 第7章 假设和推论 done 10
08 第8章 梯度下降 done 7
09 第9章 获取数据 done 8
10 第10章 数据工作 done 11
11 第11章 机器学习 done 9
12 第12章 k 最近邻法 done 6
13 第13章 朴素贝叶斯算法 done 7
14 第14章 简单线性回归 done 5
15 第15章 多元回归 done 9
16 第16章 逻辑回归 done 6
17 第17章 决策树 done 8
18 第18章 神经网络 done 8
19 第19章 深度学习 done 13
20 第20章 聚类分析 done 9
21 第21章 自然语言处理 done 13
22 第22章 网络分析 done 10
23 第23章 推荐系统 done 10
24 第24章 数据库与 SQL done 11
25 第25章 MapReduce done 8
26 第26章 数据伦理 done 7
27 第27章 数据科学前瞻 done 3

非正文排除

spine项 类型 排除理由
titlepage.xhtml 封面 仅封面图,无文字
text/0000.xhtml 空白页 仅 5 个字符,无内容
text/0001.xhtml 版权信息 书名、出版方、ISBN、定价等出版信息
text/0001_0001.xhtml 版权声明 版权与授权声明
text/0002.xhtml 出版方介绍 O’Reilly Media 介绍与业界评论摘录,非本书正文
text/0032.xhtml 作者简介 作者履历
text/0033_split_000.xhtml 封面说明 关于封面动物的介绍
text/0033_split_001.xhtml 结束页 “看完了”结束页,无内容

待关联术语

术语名 出现章节 一句话语境

引用文献

标题 类型 出现章节 一句话语境

资金安全问题案例

问题标题 问题卡 解决方案卡(如有) 出现章节 一句话说明

实践卡进度

序号 实践标题 实践方式 状态 关联章节 产出
1 辛普森悖论自查分组数据 真实任务 done 第5章 ideas/idea-001-辛普森悖论自查分组数据.md
2 手写梯度下降对照成熟实现 最小实验 done 第8章 ideas/idea-002-手写梯度下降对照成熟实现.md
3 用偏差-方差诊断现有模型 决策实践 done 第11章 ideas/idea-003-用偏差方差诊断现有模型.md
4 用伦理清单审一次产品 决策实践 done 第26章 ideas/idea-004-用伦理清单审一次产品.md

实践候选筛选:done

未采用候选与原因:第17章的决策树可视化(需要引入 graphviz 环境,且书中未给出可视化步骤,超出最小实验成本)、第21章的文本主题模型复现(需要成规模语料,单机小样本无法验证主题稳定性)、第23章的协同过滤实测(需要真实用户-物品评分数据,手头无可用且可核验的数据集)。

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

暂无公开主题。