来源书籍

机器学习:实用案例解析

Skill 版本:v24 工程实践(高浓度、低稳定性),沿用历史评级。 184 张卡片

Drew Conway、John Myles White · 陈开江、刘逸哲、孟晓楠(罗森林审校) 译 · 机械工业出版社(电子版:北京华章图文信息有限公司) · 2013 · ISBN 978-7-111-41731-6

全书导读

本书以R语言和实际案例串起数据整理、探索、分类、排序、回归、优化、降维和推荐。对象是能编程但希望理解模型适用性的读者。案例来自出版时的数据与软件环境,本轮不把历史包接口、Twitter/Google API、安装菜单或市场数据当作当前承诺;未运行这些原书案例。

全书主线

机器学习实践是一条可检验的数据转换链:先将原始记录整理成含义明确的变量,通过分布和可视化发现表示问题;再按分类、排序、连续预测或结构探索选择目标。模型只是链条中的一环,目标函数、训练边界、参数选择和结果解释共同决定能否得到可靠结论。后半书的优化、降维、邻居与图,把同一原则推广到不同表示,最后以公平模型比较收束。

译者序与前言

本书把机器学习看作从样本归纳模式的工程过程。案例教学以问题为起点,既学习如何调用工具,也追问方法何时适用;数据规模、样本选择和目标定义仍限制结论。前言只提供路线,具体技术在后续各章展开。

译者序

译者序以分类、回归、无监督案例说明从经验数据学习模式的目标,说明12章案例可在基础R之后按兴趣进入;联系方式和夸张学习承诺不当作算法结论。

前言

机器学习从已观察的样本中归纳模式,再用于识别或理解情境;本书面向愿意动手探索、已有编程经验的读者。

机器学习用观测样本建立可复用的模式,再用于识别新对象或理解情境。邮编识别需要图片与对应标签,模型从这种对应关系学习,而非只保存一套手写规则。样本是否代表目标情境会限制模型的可迁移性;数据量大本身不能保证数据正确或任务可学。

机器学习从样本提炼模式提供相应独立卡片与原书证据。

原书依据 · 1 处

本书的组织结构

案例教学在理论深度与应用广度之间取平衡:围绕明确问题比较方法适用性,基础数据处理之后分别讨论分类、排序、回归、优化、降维和推荐。

先确定要预测、排序还是发现结构,再选择模型并检查它为何适用于该情境。案例教学通过一个已研究清楚的问题连接输入、方法和结果,不要求从头实现所有底层算法;会调用R包也不能代替理解方法的前提。

案例学习先界定问题提供相应独立卡片与原书证据。

原书依据 · 1 处

第1章 使用R语言

建模首先依赖可用且可解释的数据。UFO记录案例从TSV读取开始,逐步规范日期和地点、限定美国与时期、按州和年月聚合,再用分面图检查趋势。R的数据框、逻辑索引、列表映射、按键合并和分层绘图服务同一条处理链。原始记录、有效样本和图形之间每次转换都有假设,报告数尤其不能直接当真实事件发生率。

第1章 使用R语言

本章将观测、学习和自动化串起,引入训练集,再用R数据整理案例建立后续模型的输入基础。

训练集是用于构建学习过程的数据集合。算法在观测中寻找可复用结构,把未建模的变化当作噪声;这种划分依赖任务与模型,并不证明所有剩余变化在现实中都无意义。训练过程识别模式,随后才谈自动化使用。

训练集与信号噪声提供相应独立卡片与原书证据。

原书依据 · 1 处

R与机器学习 · 连续片段1

R把统计函数、数据组织与绘图放在同一环境,适合书中小数据原型;安装应区分二进制与需编译器的源码。书中预装R及32/64位界面属于历史说明。

数据框把长度一致的列向量组合成表:一行是一条观测,一列是一个变量,不同列可以有不同类型。它便于把清洗后的数据交给统计函数。它不是要求所有单元同一类型的普通矩阵,也不能把书中“所有数据都是向量”当作R对象系统的完整定义。

R数据框按列组织观测提供相应独立卡片与原书证据。

R内置统计建模和结果绘图接口,适合以较少代码探索小型案例。统计结果对象仍需理解系数、残差等含义;原型验证成功也不证明能承受生产数据规模。书中将R作为数据沙箱再迁移实现,是当时的工程安排,不是对语言规模能力的永久判决。

统计原型需另验部署边界提供相应独立卡片与原书证据。

先按操作系统选择R分发包。二进制安装复用已编译程序;源码安装需要匹配的C/Fortran等构建工具,再执行配置、构建和安装。书中Mac预装R、双应用与旧菜单只描述出版时环境,复现前须核对目标系统和版本;本轮未安装。

Linux部分同样强调发行版差异,运行R只能检查本机可执行入口;原文“许多版本预装”不作为当前事实。

R环境安装区分源码与二进制提供相应独立卡片与原书证据。

原书依据 · 4 处

R与机器学习 · 连续片段2

Linux发行版的安装方法不同,应按对应系统说明选择,而不能从旧书的预装说法推断当前机器已有R。

R环境安装区分源码与二进制提供相应独立卡片与原书证据。

原书依据 · 2 处

集成开发环境和文本编辑器

控制台适合短交互,脚本编辑器适合保存和重跑完整案例;图1-3仅展示旧GUI的新建文档入口。

用控制台交互查询和执行短命令,用脚本文件保存清洗和建模步骤,便于修改与重复运行。书中GUI可新建文本脚本,也允许使用熟悉的IDE或编辑器;选择界面不改变算法,只改变输入和维护代码的方式。

脚本与控制台分担工作提供相应独立卡片与原书证据。

原书依据 · 1 处

安装和加载R程序包

包安装与加载是两个步骤,library/require加载已安装包;仓库安装与本地源码包安装参数不同。程序包表是分析工作所需能力地图,不表示任意版本彼此兼容。

install.packages("tm", dependencies=TRUE)从所选仓库安装包及依赖;之后用library(tm)加载。require(XML)可返回加载成功与否,调用者不能忽略失败后继续用其函数。安装到磁盘不等于当前会话已加载,加载也不保证本书旧API仍兼容。

R程序包先安装再加载提供相应独立卡片与原书证据。

本地归档可用install.packages("RCurl_1.5-0.tar.gz", repos=NULL, type="source")安装。先确认文件路径和构建工具,再禁止仓库查找并声明源码类型。书中正文提到suggests参数,而展示代码实际是dependencies;复现采用实际接口核验,不把两者当作同名参数。

本地R源码包显式禁用仓库提供相应独立卡片与原书证据。

原书依据 · 2 处

机器学习中的R基础 · 连续片段1

UFO记录先加载为数据框,再明确分隔符、表头、缺失和类型,检查首尾、按文档命名列;日期转换暴露畸形输入。

读取TSV时显式指定sep="\t"、header=FALSE、na.strings="",并按需要禁止字符串转因子。用head/tail检查结果,再用names(x)<-c(...)按数据字典命名。否则默认表头或类型推断可能静默改变首行、类别和缺失含义;默认值须结合目标R版本核验。

R读表显式声明数据契约提供相应独立卡片与原书证据。

R因子以有限水平表示分类变量,例如把州名缩写转为类别。内部整数编码仅对应标签,不表示州之间的大小或距离;需要日期计算的字段也不能当作任意字符串或因子。先明确列语义,再选择类型。

同一IsSpam标签可以用yes/no因子或0/1表示;算法输入和解释输出必须保留正类约定,不能按内部水平序号猜含义。

因子标签不是连续数值提供相应独立卡片与原书证据。

用as.Date(x, format="%Y%m%d")解析紧凑日期,转换报错时先定位原字段并查看问题行,再决定修复或排除。长度为8只是输入格式筛查,不能证明日期存在或记录可靠;原始目击报告也不等于真实天文事件。

日期转换先检查格式提供相应独立卡片与原书证据。

原书依据 · 4 处

机器学习中的R基础 · 连续片段2

按日期长度构造逻辑掩码排除畸形行,再拆城市/州并用lapply及do.call合并。解释中的which、strsplit和长度校验与真实代码有偏差,需按实际语义限定。

逻辑条件逐行生成TRUE/FALSE,x[mask,]按条件筛选;which(mask)返回TRUE的位置,which(!good.rows)才定位不合格行。原文把which说成返回FALSE向量不准确。NA也不是FALSE,缺失判断应显式处理。排除少量数据仍需检查是否集中于某类群体。

逻辑掩码与位置索引分开提供相应独立卡片与原书证据。

拆分城市与州后,解析器应保证恰好返回两项,失败时返回两项NA。原例只拒绝长度大于2,不能覆盖无逗号的一项结果;无逗号不必然使strsplit抛异常。去首空格也需正确的正则,原例展示的gsub("^", "", ...)不能当作删除空格的充分实现。

地点解析要校验结果形状提供相应独立卡片与原书证据。

lapply(x, f)逐项应用函数并返回列表,do.call(rbind, result)再把各项按行绑定为矩阵。要先保证每项长度和含义一致,随后才把列加入数据框;否则回收或错位会破坏城市与州的对应。双中括号取元素,单中括号取子列表,不宜简单解释成通用键值表。

批量映射后按行绑定提供相应独立卡片与原书证据。

原书依据 · 3 处

机器学习中的R基础 · 连续片段3

州名用允许列表匹配并筛除,随后以摘要和直方图认识时间范围,明确只分析1990后记录,再选择年月聚合粒度。

先统一州缩写大小写,再用match在美国州列表中找位置,未匹配值为NA,subset(...,!is.na(USState))保留目标记录。格式像“城市,地区”不能证明属于美国;允许列表定义的是此次样本范围,不能从排除结果推断原始记录虚假。

允许列表定义分析样本提供相应独立卡片与原书证据。

摘要和直方图揭示时间跨度及稀疏区间,再按明确问题选择分析窗口。UFO案例聚焦1990以后以便比较相近时期,不代表较早记录都已证伪。原文“1400年前”与最小日期1400年不一致;筛选会改变结论适用的人群和时期。

探索先看范围再选时间窗提供相应独立卡片与原书证据。

ggplot以数据和美学映射为基础,再叠加几何图层、坐标尺度及主题。直方图把数值区间映射为频数,ggsave保存图对象。默认分箱也会影响形状,不能只调颜色就认为分析更准确;本书旧版本参数需另核验。

主题、轴标题与日期刻度负责展示。原例代码为10年刻度,正文又说5年,复现应明确所选尺度,不把两者说成同一设置。

图层把数据映射为视觉元素提供相应独立卡片与原书证据。

原书依据 · 4 处

机器学习中的R基础 · 连续片段4

年月与州共同分组计数,再建立所有州—月份组合、按键合并并处理缺月;分面绘图让同尺度的地区序列可比较。

先用strftime(date,"%Y-%m")建立年月键,再用ddply(data, .(USState,YearMonth), nrow)对州—月份组统计记录行数。日、月、年的聚合回答不同问题;计数反映被记录的报告量,不自动表示事件率或人口标准化发生率。

分组汇总先定统计单位提供相应独立卡片与原书证据。

分组计数只包含有记录的组。可先构造所有州—月份组合,再按键与统计结果全连接;只有缺行确实代表零报告时才把NA改0。如果缺行可能是采集缺失,补零会伪造低谷。日期也应由连接后的年月键还原,不能依赖未经核对的行排序套用重复日期向量。

补零需要观测完备假设提供相应独立卡片与原书证据。

按州分面,将每个州的年月序列置于独立面板,保留一致的坐标范围,便于比较峰谷和趋势。把50条线堆在同图常会互相遮挡。分面改善可读性,但若人口和报告渠道不同,报告数仍不是各州风险的公平排名。

分面图让同类序列可比较提供相应独立卡片与原书证据。

原书依据 · 3 处

机器学习中的R基础 · 连续片段5

主题、标签和日期尺度改善可读性;图中若干州有稳定波动或突增,只形成后续待验证问题,不能据报告周期判定外星活动。

分面图中的周期、峰值和同步变化可以提出解释假说,例如报告意愿或共同外部事件。图只显示记录的结构,不能在尚未排除采样、季节和测量影响时证明因果,更不能把目击报告视作外星访客证据。后续要用独立数据或正式模型检验。

图中模式仍需独立验证提供相应独立卡片与原书证据。

图层把数据映射为视觉元素提供相应独立卡片与原书证据。

原书依据 · 3 处

深入学习R的参考书目

R基础案例只覆盖加载、清洗、组织、分析的一条路径,表1-3给出更完整的语言和数据操作参考。

第2章 数据分析

探索性数据分析用数值和图形认识变量。先确认观测单位、列类型、编码和含义,再用位置、散布、分位数与密度检查分布,用散点和分组了解联合关系。摘要、降维和预测服务不同目的。图形中的峰与趋势是候选模式,只有独立数据或明确定义的检验才能支持进一步结论;原书柯西矩、正态尺度和置信带解释的错误在对应位置限定。

第2章 数据分析

先探索提出模式,再以新数据或概率检验防止把随机巧合当规律;本章专注摘要与图形,不把探索结果当验证。

探索或训练时见过的数据可帮助选择模型,却不能再充当独立泛化证据。应把提出模式与验证模式分开,用另一批未参与选择的数据评估;反复根据测试结果改模型也会削弱独立性。概率检验则用明确假设衡量原数据模式是否可能只是巧合。

训练测试拆分提供相应独立卡片与原书证据。

原书依据 · 1 处

什么是数据

以行为观测、列为属性建立数据方块,再区分逐列统计摘要、相关性摘要和保留每行的降维;数据来源决定可解释范围。

统计摘要沿观测行压缩,例如每列一个均值,得到变量的总体特征;降维沿特征列压缩,为每条观测保留更少的新坐标。前者可以不再区分个体,后者仍服务逐行表达。原图2-4标题误写相关性分析,按正文及M×N→M×1的形状理解为降维。

统计摘要与降维方向不同提供相应独立卡片与原书证据。

数据表能方便计算,却不会自动说明样本如何产生、是否代表研究总体。观察记录中的相关模式不能单凭表格推出因果;实验设计和背景信息影响可作出的判断。把数据暂时当矩形是建模简化,不是消除采样与测量问题。

数据来源限定解释范围提供相应独立卡片与原书证据。

原书依据 · 2 处

推断数据的类型

先检查numeric/character/factor,再区分定性标签与0/1或±1编码;相同语义可有不同表示,算法输入必须约定一致。

用0/1表达定性类别时,应明确1代表什么、0代表什么。因子、字符串、0/1及−1/+1可以表示同一分类,但不能在训练和预测之间任意替换。内部因子水平编号不等于标签原有数值;glm等接口还受family与响应形式约定,不能泛称任何调用都要求同一编码。

虚拟编码须约定正类含义提供相应独立卡片与原书证据。

is.numeric、is.character、is.factor检查实际存储类型,再决定算法所需表示。把因子直接当数值可能得到水平编号而非标签的数字;先核对标签及编码再转换。表2-3讨论的是向量或因子类型,不表示R多数函数只能处理标量。

R类型检查先于强制转换提供相应独立卡片与原书证据。

因子标签不是连续数值提供相应独立卡片与原书证据。

原书依据 · 4 处

推断数据的含义

知道数值类型仍不等于知道列语义;行代表谁、单位和类别含义需由数据字典补充。

无标签的0/1、身高、体重数列,需要说明一行代表谁、类别编码与英寸或磅等单位,才有可解释含义。类型检查不能恢复这些语义;图形或搜索只能提出猜测,来源资料无法确认时应保留未知,而非以直觉代替数据字典。

数据字典解释观测与单位提供相应独立卡片与原书证据。

原书依据 · 1 处

数值摘要表

summary展示最小值、两四分位、中位数、均值和最大值;它是快速认识数值列的起点,不包含所有分布特征。

数值向量的summary可快速给出最小值、第一四分位、中位数、均值、第三四分位与最大值。用它先检查范围和位置,再补标准差与可视化。摘要压缩会丢掉形状、混合群体和局部异常信息,不能用六个数证明数据服从某分布。

数值摘要提供分布初览提供相应独立卡片与原书证据。

原书依据 · 1 处

均值、中位数、众数

均值累加后除长度,中位数排序后取中间位置;离群值对两者影响不同。众数处理最常见值,连续数据宜通过密度描述峰。

均值为总和除以数量,中位数由排序位置决定,偶数个观测取中间两项的平均。例[0,0,100]的均值约33.3,中位数为0,显示极端值会牵动均值而不一定移动中位位置。二者接近只说明中心相近,不能单独证明对称或正态。

均值与中位数反映不同中心提供相应独立卡片与原书证据。

离散样本的众数是出现次数最多的值,可能并列;连续测量常无重复数值,通常转而观察直方图或估计密度的峰。图上峰的位置取决于分箱或平滑方法,不是精确重复计数。不要把R的mode对象类型查询当作统计众数计算。

众数与密度峰需区分提供相应独立卡片与原书证据。

原书依据 · 2 处

分位数

分位数以累积位置刻画中心和尾部,客服响应时延的高分位回答均值无法覆盖的问题。

p分位数描述累积分布达到p附近的位置;quantile(x,probs=...)可指定所需概率。p99响应时延比均值更能暴露慢尾。有限样本可能插值且有并列值,不能严格说恰有p比例观测小于结果;比较前还要一致地约定计算方法。

分位数刻画尾部位置提供相应独立卡片与原书证据。

原书依据 · 1 处

标准差和方差

极差只依赖两端点;分位区间看中部数据,样本方差以n−1修正,标准差开平方恢复单位,但不保证特定覆盖率。

最小值和最大值限定全范围,却不描述中间观测怎样集中。固定两端而改变其余大量数据,极差不变;用四分位区间等补看多数观测,并注意异常值。两端一定是异常值也不是普遍结论,极差仍可用于描述已观察范围。

极差不能代表内部散布提供相应独立卡片与原书证据。

偏差平方和除以n可描述当前数据的平均平方偏离;从样本估计总体方差时,常除以n−1以修正估计均值消耗的自由度。R的var采用后一约定,要求足够有效观测。两者差异首先是定义选择,不能一概归咎浮点误差。

样本方差区分分母约定提供相应独立卡片与原书证据。

方差的单位是原变量单位的平方,标准差取其平方根,便于与原尺度比较。均值±一标准差不是必在样本极值内,也不保证覆盖50%;原文从四分位区间与标准差区间相近作的推论不充分。覆盖比例须用分布条件或实际计数验证。

标准差恢复单位不定覆盖率提供相应独立卡片与原书证据。

原书依据 · 3 处

可视化分析数据 · 连续片段1

直方图随分箱变化可能过平滑或欠平滑,密度图也有带宽选择;按类别分组可揭示混合结构,再引入正态的中心、宽度及峰的数量。

直方图按区间统计频数。区间太宽会抹掉局部结构,太窄则可能突出采样噪声;同一份身高数据在1、5和0.001英寸分箱下形状明显不同。需要比较多个合理尺度,而不能把某一个图的峰谷直接当作稳定事实。

分箱宽度会改变可见模式提供相应独立卡片与原书证据。

核密度估计把样本附近的贡献叠加为连续密度曲线,便于观察峰与尾部。它没有消除平滑选择:带宽太大合并峰,太小产生噪声峰。曲线更美观不证明统计估计更可靠;用geom_density()也应结合分组与尺度检查。

核密度估计仍需选平滑尺度提供相应独立卡片与原书证据。

总体分布可由不同群体的分布混合而成;身高总体顶部较平,按性别分组后出现不同中心的曲线。一个峰不等于只有一个群体,多个组分也不必产生同样数量的可见峰。分组字段须有实际意义,不靠任意切分制造故事。

混合群体可能隐藏多个峰提供相应独立卡片与原书证据。

正态分布对称且单峰,均值、中位数和众数重合;均值控制位置,标准差控制尺度。rnorm(n,m,s)中的s是标准差,不能照图注把它当方差。钟形也不是正态分布的充分条件,样本密度近似钟形还需进一步核验。

正态形状由位置与尺度决定提供相应独立卡片与原书证据。

单峰、双峰和多峰按密度峰的数量描述形状;对称或偏态则描述两侧是否平衡。它们是不同维度,单峰也可能偏态,多个峰也可整体对称。经验曲线的峰还受平滑尺度影响,不应将每个小波动都命名为独立群体。

偏态关注长尾方向;右偏时均值和中位数可能明显分离。尾部厚度又是另一维度,不能只靠中心附近的对称钟形判断极端值行为。

峰数与偏态是不同特征提供相应独立卡片与原书证据。

原书依据 · 6 处

可视化分析数据 · 连续片段2

对称性、偏态和尾部厚度分别描述不同形状。正态与柯西虽然都可钟形却极端值行为不同;正值的伽玛及指数用于认识偏态而非凭图认定分布。

柯西分布可对称单峰,却比正态更容易产生远离中心的值。其总体均值和方差并不存在,因而原文用“柯西均值的若干标准差”比较覆盖率不成立;应以位置和尺度参数谈距离。中心图形相似,不代表均值估计和极端值风险相似。

柯西重尾不能用标准差刻画提供相应独立卡片与原书证据。

伽玛分布可描述正值右偏数据,形状随参数变化;指数分布在非负轴上递减,是常见等待时间模型。非负且零附近频数高只提供候选线索,不足以确认指数规律;呼叫间隔和游戏得分的形似也不能代替拟合与假设检验。

正值偏态分布各有约束提供相应独立卡片与原书证据。

峰数与偏态是不同特征提供相应独立卡片与原书证据。

原书依据 · 4 处

列相关的可视化

散点图展示数值列的关系,平滑线表达条件趋势,按第三类标签着色引出分类任务和决策边界;原例边界系数顺序需按实际坐标解方程。

回归的输出是数值,如用身高预测体重;分类的输出是类别,如用文本特征预测邮件是否垃圾。两者可用相同输入,但损失、评估与结果解释不同。图中两群体能帮助提出分类方法,不能直接把训练图中的分离程度当泛化准确率。

回归预测数值分类预测标签提供相应独立卡片与原书证据。

散点图保留观测点的联合结构,叠加平滑线可观察条件趋势,按类别着色可发现混合群体。平滑线周围的默认带是拟合趋势的不确定性表达,不能当作个体体重预测范围;数据增加可能缩窄趋势估计的带,却不消除个体波动。

散点趋势与不确定性分开提供相应独立卡片与原书证据。

逻辑回归以线性分数b0+bH×Height+bW×Weight经链接函数给出分类概率。若以Height为横轴、Weight为纵轴,0.5边界应解为Weight=−b0/bW−(bH/bW)Height(bW非零)。原例绘图交换了系数分母,不能直接复制;92%也是原样本描述,非本轮实测。

决策边界按坐标解方程提供相应独立卡片与原书证据。

原书依据 · 3 处

第3章 分类:垃圾过滤

文本分类把邮件正文转成词项统计,再以各类别的词项出现率组合成比较评分。训练/测试分离、难正常邮件组、未知词处理和先验共同决定表现。混淆表要区分误删正常与漏过垃圾的代价。简易乘积没有归一化且可能下溢,不能把它当成已校准后验;调整先验改变边界,并不免费提高所有指标。

第3章 分类:垃圾过滤

二分类由标签和可测量特征组成,决策边界可有多条;邮件文本先变词频,图中重叠点可抖动展示,但两个HTML词不足以稳健分类。

标签是要预测的类别,特征是预测时能获得的输入。决策边界把特征空间划分为类别区域,未必是一条直线,也不必只有一条边界。特征变换可帮助表达复杂区域,但“核方法几乎无成本”不能作为一般复杂度保证。

标签特征与边界分担职责提供相应独立卡片与原书证据。

把邮件正文中的词项出现次数转换为数值特征,使定性文本可交给分类模型。html/table在两类邮件中的频次有差异,但难分类正常邮件也可含HTML。需要更丰富特征和独立测试,不能看到某个垃圾特征就确定类别。

词频把文本变为可比较输入提供相应独立卡片与原书证据。

离散计数常有许多重合坐标,可在绘图时加小幅随机扰动展示点的密集程度。抖动是显示手段,不是为模型增加新观测,也不改变词频证据;扰动幅度过大还会误导对取值范围的判断。

抖动仅改善重叠点显示提供相应独立卡片与原书证据。

原书依据 · 3 处

漫谈条件概率

条件概率描述给定条件后的事件概率,邮件分类比较各类别下文本的似然,再结合先验;朴素假设用于组合多个词项证据。

条件概率是在给定条件下事件的概率。朴素贝叶斯比较类别先验P©与文本似然P(words|C)的组合,不能把P(words|C)直接当P(C|words)。朴素近似要求给定类别后词项特征条件独立,现实中通常不完全成立;重复相关证据可能放大确信程度。

条件概率分类提供相应独立卡片与原书证据。

先验表示看具体邮件内容前对类别频率的认识;同一词项证据在不同基率下可能产生不同判断。原书以垃圾邮件更常见作背景,不是当前所有邮箱的事实。先验与阈值应配合目标分布和误判代价,不能仅凭一个常见词下结论。

先验反映分类前的类别基率提供相应独立卡片与原书证据。

原书依据 · 2 处

试写第一个贝叶斯垃圾分类器 · 连续片段1

公开语料按易正常、难正常和垃圾分组并分开训练测试;按首个空行抽正文,只为此次正文分类服务,不宣称邮件头没有价值。

原始邮件以首个空行分隔头部和正文。案例只取正文做文本分类,头部里来源和伪造痕迹仍可能有用。读取文件后应确认分隔位置、编码和内容形式;这种简化不是完整MIME解析器,不能把多部分或附件结构都当普通纯文本。

邮件正文抽取限定协议范围提供相应独立卡片与原书证据。

难识别正常邮件可能含HTML或促销词,看起来像垃圾邮件。把easy ham与hard ham分别测试,能发现模型是否依赖过于简单的词项捷径。正常邮件与垃圾邮件应使用独立训练、测试集合;易负例上高分不代表真实收件箱可靠。

难负例检验特征捷径提供相应独立卡片与原书证据。

原书依据 · 2 处

试写第一个贝叶斯垃圾分类器 · 连续片段2

读取邮件正文后构建语料库和词项—文档矩阵;词频、词占比与出现文档比例是三个不同统计量,分类器使用最后一个。

TDM以词项为行、文档为列,每格是该词在该文档中的次数。它把语料变成统一特征空间,便于逐词或逐文档统计。停用词、标点、数字和最低文档频率的筛选会改变词表;训练与预测应使用一致规则,不能把文档频率误作单篇词频。

词项文档矩阵保留文本计数提供相应独立卡片与原书证据。

总词频统计一个词在全语料出现多少次;归一词占比除以所有词次数;文档出现率则统计含该词的文档数除以文档总数。一个邮件重复table很多次可推高总词频,但只增加一次文档出现。选择统计量会改变模型强调的证据。

词频与文档出现率含义不同提供相应独立卡片与原书证据。

按文件路径读取正文,过滤cmds等辅助文件,再用sapply收集文本,保留邮件名与内容的对应。readLines后应关闭连接,异常路径也需保证释放;原例latin1只描述该语料处理策略,不表示所有邮件都采用此编码。

邮件语料批量读取保留标识提供相应独立卡片与原书证据。

原书依据 · 3 处

试写第一个贝叶斯垃圾分类器 · 连续片段3

从类内文档出现率建立词项证据,初始仅用各500封训练;未知词若置零会令乘积归零,因此用小正数和可调先验计算评分。

若把训练中未观察到的词直接赋概率0,多词似然乘积会因一个未知词变成0。案例用小正数c=1e−6替代未知词,并对未知词数取幂。它避免立即归零,但不是通用校准或标准加一平滑;c大小会影响分类结果,必须结合数据验证。

未知词零概率会压垮乘积提供相应独立卡片与原书证据。

案例按先验乘以已出现词的类内出现率,再乘未知词惩罚,比较spam与ham两个分数。它没有做跨类别归一化,也没完整纳入未出现词的伯努利项,因此更应称分类评分。不能把某个极小乘积直接解释成邮件属于该类的校准概率。

评分连乘可在浮点中下溢为0,后续log-log绘图并不能恢复已丢失的信息。实现可在对数域累加并保留明确的平滑与空词表规则,这是数值改进方向,不是本轮已运行的修复。

朴素乘积分数不是后验概率提供相应独立卡片与原书证据。

案例起初各取500封,配合0.5⁄0.5先验,便于演示。类别条件词率可各自在类内估计,先验另表示目标类别基率;不必为了指定先验而机械丢弃多数类样本。训练分布和部署分布不一致时要明确二者区别。

训练类别数与先验可分别指定提供相应独立卡片与原书证据。

原书依据 · 4 处

试写第一个贝叶斯垃圾分类器 · 连续片段4

两类评分分别计算并比较,hardham测试中65/249误判约26%,说明难负例是关键;这是历史语料表现而非本轮运行结果。

把不易识别的正常邮件独立作为测试组,原例184封正确、65封误判,误判比例约26%。这说明只用易正常邮件学习的特征覆盖不足,不能以“简易模型还不错”代替产品要求;实际风险还取决于把正常邮件丢弃的代价。

分组误判暴露训练覆盖不足提供相应独立卡片与原书证据。

朴素乘积分数不是后验概率提供相应独立卡片与原书证据。

原书依据 · 3 处

用所有邮件类型测试分类器

测试第二套三类邮件,混淆表按真实类别看误判/漏判;log-log评分散点与y=x分界揭示错误群体,不能以少数输出判断全局表现。

以真实邮件类型为行、预测正常/垃圾为列,分别计算正常邮件被误删与垃圾邮件漏过的比例。原表还区分easy/hard ham,行内比例不应误读成预测类精确率;总体准确率会受类别比例影响。评估前先约定正类、分母与误判成本。

混淆表按真实类别统计错误提供相应独立卡片与原书证据。

两个非负分类评分跨越许多数量级时,可用log-log坐标查看相对大小,y=x仍是两分数相等的边界。取对数只能展示有效正值,无法修复先前乘积下溢的零,也不能把评分自动变成归一概率。边界两侧错误点要回看真实标签。

对数坐标只改变显示尺度提供相应独立卡片与原书证据。

原书依据 · 2 处

效果改进

增加正常训练样本并调整先验降低误删但提高垃圾漏过,体现边界移动与目标取舍;前后变动同时包括训练数据与先验,不能纯因果归功一个参数。

把正常类先验提高,会使证据相近的邮件更倾向判正常,通常减少正常邮件误删,却可能放过更多垃圾。案例同时改先验与正常训练数据,不能仅把结果变化归因先验。80/20是书中情境假设,与前文“多数为垃圾”也不一致,部署需独立估计。

调整先验会移动分类取舍提供相应独立卡片与原书证据。

原书依据 · 1 处

第4章 排序:智能收件箱

排序回答同类对象应先看谁。真实智能收件箱可学习用户查看后的行为,但本案例仅有静态收件文本,只能以发件频次、线程活动及词项熟悉度作代理。解析日期与字段、按时间拆分、在训练窗口建立权重再匹配新邮件,是它的处理链。对数尺度、乘积中性值和中位数阈值都是可检验假设;图形重尾、线程聚合和新线程入选不能代替用户反馈。原书日期和查表代码的明显冲突已注明。

第4章 排序:智能收件箱

排序要在类别内部区分优先级,推荐结合对象属性和用户行为;监督学习有目标输出,无监督学习发现结构,排序未必总有现成标签。

分类决定对象属于哪个类别;排序为候选对象给出相对先后,如把更需要处理的正常邮件放前面。推荐可利用物品属性及用户行为生成个性化顺序。必须说明优先级依据,不能把任何分类概率都当作业务重要性。

排序目标不同于类别判定提供相应独立卡片与原书证据。

监督学习用输入及相应目标学习映射;无监督学习缺少这类目标,主要寻找相似群体或简化结构。是否监督取决于训练信息,不由使用排序或聚类这个词决定。只有启发式权重而没有用户反应标签的排序原型,不能冒称已学习真实偏好。

监督学习依赖已知目标提供相应独立卡片与原书证据。

原书依据 · 2 处

按优先级给邮件排序 · 连续片段1

优先级以查看邮件后的行为及时间窗定义;详尽日志可用社交/内容/线程/标签特征,静态公开收件语料只能用单向接收和线程活跃代理,存在明确的不可验证缺口。

把邮件重要性操作化为用户看到邮件后,在指定时间内阅读、回复或标记的概率。服务器收信时刻不同于用户看到的时刻。不同用户、行为和窗口会给出不同排序目标,响应快也只是一种重要性代理,不是邮件价值的唯一标准。

优先级须定义行为与时间窗提供相应独立卡片与原书证据。

只观察收到的邮件,可用发件人来信量近似社交联系,却不知道用户是否回复或认为重要。高频可能来自亲密往来,也可能是大型邮件列表;应结合其他特征并保留代理失真的风险。缺乏行为日志会限制验证,不能如原文结尾暗示的那样对结论毫无影响。

收件量只是社交联系代理提供相应独立卡片与原书证据。

社交特征看双方交互,内容特征看近期主题/正文,线程特征看会话活动,标签特征看用户标记。静态语料缺少已读、回复和移动行为,只能实现其中部分代理。先列能直接观测、只能估计和完全缺失的字段,再决定模型范围。

本案例四路实际权重是发件量、线程活跃、主题词及正文词;与完整产品特征分组并非一一覆盖,图4-1把缺失的用户阅读行为明确标出。

邮件优先特征分开取证提供相应独立卡片与原书证据。

原书依据 · 4 处

按优先级给邮件排序 · 连续片段2

把发件量、线程活动和主题/正文内容组成四路权重,先按时间分训练与测试,下一节才实现抽取。

邮件优先特征分开取证提供相应独立卡片与原书证据。

原书依据 · 2 处

实现一个智能收件箱 · 连续片段1

解析器把每封邮件变为日期/发件人/主题/正文/路径的一行,通过辅助函数抽取各字段;保留原路径方便回溯,正则模式需受头部边界约束。

把每封邮件转成固定字段的一行,并保留源路径,再以列表映射和按行绑定形成数据框。各辅助解析器必须返回约定长度,缺失值要显式表示;行向量看似矩形不证明字段正确。保留路径可在排序错误时返回原始记录核对。

半结构化解析先固定行契约提供相应独立卡片与原书证据。

匹配From或Subject时,应先限定邮件头,再识别字段名、折行和地址形式。原例在所有行中搜索From:并拆分标点,只取含@的首项,大小写、正文仿造行和复杂地址都可能破坏假设。它是特定语料练习,不是完整邮件解析实现。

邮件头匹配需限制字段边界提供相应独立卡片与原书证据。

原书依据 · 2 处

实现一个智能收件箱 · 连续片段2

主题缺失可返回空串,但日期涉及多匹配和格式、时区差异;原例的逻辑索引和冒号拆分会误抽字段,丢时区还影响时间排序。

没有Subject字段时返回空串能维持固定长度,但“缺字段”与“有字段且为空”可能有不同含义。grepl本身返回与输入等长的逻辑向量,筛选后结果才可能为零长;不能把原文对匹配函数的泛称当成每个函数的准确返回契约。

解析缺失值不能等同空内容提供相应独立卡片与原书证据。

原例计算which(date.grep)后却用date.grep[1]索引,取到的是单个逻辑值,不能定位首个日期行。再按冒号拆开会破坏时分秒,删时区则可能改变跨地区先后。应保留原时间与偏移并按约定解析,失败显式NA,再核验排序;本轮只记录问题,未运行修复。

日期抽取不能丢索引与时区提供相应独立卡片与原书证据。

原书依据 · 2 处

实现一个智能收件箱 · 连续片段3

日期按两个模式解析并以第二结果补第一结果的NA,再规范文本、按时间排序和前后拆分,避免未来观测进入过去训练。

对日期候选分别应用已知格式,只有首格式失败的位置才用后格式补充,仍失败的值要保持NA并单独检查。格式命中不代表已正确处理语言环境或时区;不能从语料示例推断现实只有两种格式。

多格式日期解析保留失败信息提供相应独立卡片与原书证据。

先按规范化时间排序,再以前半训练、后半测试,使评估更接近根据过去对新邮件排序。词表、权重和阈值也应只从训练窗口学习;仅把行分成两半却预先用全量统计,仍会泄漏未来信息。时间解析正确是这种拆分有效的前提。

时间拆分模拟向未来预测提供相应独立卡片与原书证据。

原书依据 · 2 处

设计用于排序的权重计算策略

来信量长尾使原始计数尺度悬殊,log(Freq+1)压缩高频并避免单次来信权重为零;不同对数底只是常数缩放,不能以自然螺旋证明效果。

对正频次使用log(Freq+1),高计数间差距会压缩,且Freq=1不会变成零,适合后续相乘权重。Freq=0时log1p仍为零,不保证任何输入都严格正。加1改变低计数的相对尺度,必须将它作为建模选择,而非宣称不影响结果。

对数权重压缩大计数差异提供相应独立卡片与原书证据。

对同一正输入,log10(x)=ln(x)/ln(10),两者保持相同排序,区别是整体常数尺度。不能仅因数值更小就断言log10保留更少信息;若把多个特征组合或设阈值,仍需统一考虑尺度。自然界的螺旋例子不能证明邮件权重应采用某底数。

换对数底只作常数缩放提供相应独立卡片与原书证据。

原书依据 · 2 处

邮件线程活跃度的权重计算 · 连续片段1

线程通过规范主题近似识别,统计发件人参与频次和线程频次/时间跨度;边界截断与同时间戳会影响活跃度,不能把代理当真实回复速度。

案例从以re:开头的主题提取原主题,以共同主题聚合邮件。它不使用正式线程ID,同名独立话题、重复前缀或语言差异都可能误合并或漏分。主题相同只是会话代理,后续活跃权重需继承这层不确定性。

主题匹配只能近似识别线程提供相应独立卡片与原书证据。

用线程内邮件数除以最大与最小时间戳差,估计观察窗口中的活跃度。单封线程无法用此方式估计跨度,案例剔除;多封同时间戳也可能除零。窗口外活动不可见,所得是截断样本统计,不是收件人回复耗时或整段会话的真实到达过程。

线程到达率受时间窗口约束提供相应独立卡片与原书证据。

原书依据 · 2 处

邮件线程活跃度的权重计算 · 连续片段2

对活跃度对数加常数平移,再将线程权重传给词项;正文词频另取log10,形成五张权重表,主观假设仍需验证。

案例将到达率r变为10+log10®,在当时样本上得到正值。一般只有r>10^−10才严格为正,零、负值或无限值仍需单独处理。加常数会改变与其他权重相乘的效果,不是对任意数据都安全的正值保证。

平移对数不保证所有权重为正提供相应独立卡片与原书证据。

取包含某词的历史线程权重均值,让新主题可借共享词获得权重;正文再用全训练语料的词频对数作为熟悉度。它把“与过去活跃/已见内容相似”当重要性代理,不是从真实重要性标签学习。词项子串匹配还可能合并不同词,应检查分词边界。

词项权重把历史活跃迁移到新主题提供相应独立卡片与原书证据。

原书依据 · 2 处

训练和测试排序算法 · 连续片段1

新邮件从五张表取权重并相乘,以1作为缺特征中性值;get.weights所展示代码与文字规则冲突,必须核验映射索引与空集合。

把发件量、线程参与、活跃度、主题及正文词权重相乘形成排序分数。缺特征时用1可避免将整体归零,但等于选择“不奖不罚”的业务假设;相关特征重复计算可能放大相同证据。评分不是概率,也不保证没有并列。

相乘排序需定义缺特征中性值提供相应独立卡片与原书证据。

match返回目标表中的位置;取对应权重应使用这些非NA位置的值,而非which返回的输入位置。原get.weights还在匹配数大于1时返回1,与文字“无匹配返回1、有匹配取均值”相反,空匹配可能产生NaN。应分别检验空、单个、多个和乱序匹配。

权重查找须使用匹配值索引提供相应独立卡片与原书证据。

原书依据 · 2 处

训练和测试排序算法 · 连续片段2

中位数阈值标记训练分数以上的一半左右,训练测试密度不同只说明分布变化;没有用户重要性反馈,无法证实排序真正好。

以训练分数中位数作阈值,大致选择高于典型值的一半;有并列且用≥时可能更多。重尾只说明分数分布,并不能证明排序准确。中位数和标准差本来描述不同统计量,直接拿标准差当分数阈值也只是另一个启发式规则。

中位数阈值不等于少数重要项提供相应独立卡片与原书证据。

历史结果中的同线程分组、高频发件人靠前、新线程入选,能检查实现是否符合预设规则,却不能证明符合用户真实重要性。训练/测试分数密度差异也不是准确率;需要真实标签、行为反馈或受控评价才可比较排序质量。原书14%延续线程仅是结果组成。

无反馈排序只能验结构与假设提供相应独立卡片与原书证据。

原书依据 · 2 处

第5章 回归模型:预测网页访问量

回归预测有数值意义的输出。先以训练均值作为平方损失基准,再加入二元或连续特征,明确可加与线性参数假设,观察系数和残差。网站访问量案例说明对数尺度和因子编码如何改变解释;相关、显著性和训练拟合优度不等于因果或未来预测能力。R²、RMSE与残差标准误有不同定义,必须先统一评估样本与分母再比较。

第5章 回归模型:预测网页访问量

回归预测数值输出,平方误差损失下常数基准为训练均值;虚构寿命案例用候选常数的误差曲线说明最优点,不作健康判断。

若必须对所有对象给出同一常数,最小化当前样本平方误差的常数是样本均值。它给复杂模型提供起点:额外特征应在相同验证条件下优于这个基准。73只是72.723的取整及整数候选最优,不是连续意义上的精确最优;换损失函数也可能换最优常数。

均值基准依赖平方误差损失提供相应独立卡片与原书证据。

单点平方误差为(y−h)²,MSE对各点取平均,较大偏差会受到更强惩罚。其单位是输出单位的平方,不能把它直接理解成平均绝对偏差。使用书中虚构寿命数据仅演示损失计算,不推出医疗或个体寿命预测。

均方误差平均平方残差提供相应独立卡片与原书证据。

原书依据 · 2 处

使用虚拟变量的回归模型

用虚拟变量把样本分组,各组均值可改善训练平方误差;RMSE还原输出单位,附加信息是否有泛化收益仍需测试。

对0/1类别可分别计算训练组均值,再按输入类别选择相应预测。相当于用一项二元信息修正常数基准;样本内损失不增加并不证明新样本一定改善。书中约10%误差下降来自虚构数据,不能当作真实吸烟效应或通用收益。

虚拟变量允许分组均值预测提供相应独立卡片与原书证据。

RMSE=√mean((y−ŷ)²),与预测目标同单位,便于解释误差量级。它仍更重视大误差,也不是平均绝对误差。比较时须使用同一数据、相同目标尺度与划分;训练RMSE较小不能单独证明模型泛化更好。

误差平方和随新增非零误差累加,样本数不同的模型比较宜先统一测试集,再选MSE/RMSE。不能由平均有符号误差为5推断MSE为25,平方与平均不交换。

均方根误差恢复输出尺度提供相应独立卡片与原书证据。

原书依据 · 3 处

线性回归简介 · 连续片段1

可加性和原始输入线性关系给简单模型起点,lm公式明确预测方向;系数表达条件关系,残差和外推检查限制模型解释。

基础线性模型把各输入贡献相加,意味着某特征效应在其他条件下保持同样斜率。若两项同时出现时效应额外变化,就需显式交互项或其他表示。例中的健康数值是假设演示,不能把可加模型视作现实因果规律。

可加效应不包含交互作用提供相应独立卡片与原书证据。

对一个原始输入,直线表示每单位变化的预测增量相同;单调只要求方向一致,斜率可变。带特征变换的线性参数模型又可描述原始输入曲线,因此不能泛称任何线性回归都只会画原坐标直线。

线性斜率比单调性更强提供相应独立卡片与原书证据。

lm(Weight~Height, data=...)以身高为输入、体重为响应,coef给截距和斜率,predict按同一变量含义产生预测。反向回归不是简单取倒数。显式data减少隐式全局数据依赖;正文Hight拼写与代码Height不一致,复现以真实列名为准。

回归公式必须明确预测方向提供相应独立卡片与原书证据。

身高体重拟合中的斜率描述样本条件关系,不证明身高变化会因果导致体重改变。截距仅是直线参数,原例为−350.7,正文漏掉负号;把它解释成零身高的人重350磅有误。训练范围外可能给负体重,应限制适用范围。

系数关系不能越界外推提供相应独立卡片与原书证据。

残差是真值减预测值。检查残差与拟合值的关系,若出现弯曲等系统形状,可能是表示或模型不充分;没有明显形状也不等于证明残差纯噪声。书中plot(…,which=1)是残差对拟合值图,不是任意真实输入对残差。

残差结构提示模型未捕捉信号提供相应独立卡片与原书证据。

原书依据 · 5 处

线性回归简介 · 连续片段2

误差平方和受样本量影响,MSE按数目平均,RMSE开方;R²应与同一数据均值基准比较平方误差,原文RMSE比未平方存在公式错误。

对同一评估集,R²=1−SSE模型/SSE均值基准;若两者RMSE按相同n计算,则R²=1−(RMSE模型/RMSE基准)²。原文省略平方算出的0.12595不是该定义R²。测试集或不含截距模型的R²可以为负,不能保证总在0到1。

R平方比较的是平方误差提供相应独立卡片与原书证据。

均方根误差恢复输出尺度提供相应独立卡片与原书证据。

原书依据 · 3 处

预测网页流量 · 连续片段1

网站访问量与独立访客为计量,排名仅为次序;偏态经对数后关系更易观察,多变量控制仍不排除遗漏变量和因果方向不明。

Rank只表示网站先后顺序,名次间隔不意味着相同流量差距,替换成有序标签仍保留次序信息。PageViews是访问次数,UniqueVisitors是不同访客数,两者统计对象和时间窗须分别核对,不能直接把名次当连续流量或把重复访问当新访客。

序数排名不等于等距计量提供相应独立卡片与原书证据。

正值流量分布跨度很大时,对PageViews和UniqueVisitors取对数可压缩尺度,便于观察与拟合乘法型关系。模型残差和RMSE此时都在对数尺度,不能当作原始访问次数误差。反变换预测均值还需考虑误差分布;零值要另定规则,原文logp应辨明为log1p等接口。

对数回归改变误差解释尺度提供相应独立卡片与原书证据。

加入广告、语言、访客量只能在已纳入变量及模型假设下比较条件关联。若遗漏关键因素,系数仍可能误导;网站语言与流行程度的因果方向也不能从回归本身决定。样本是2011年前千网站,不能泛化成当前所有网站规律。

回归控制不能自动消除混杂提供相应独立卡片与原书证据。

原书依据 · 3 处

预测网页流量 · 连续片段2

summary包含系数估计及标准误、t/p、残差标准误和拟合优度。推断依赖模型假设,训练显著性不替代未知数据预测;残差标准误与RMSE分母不同。

系数估计的标准误反映重复采样下估计量波动,并不等同于原变量标准差。置信区间的覆盖率描述构造区间的程序,不是说已固定参数以95%概率落在这个固定区间。小标准误依赖数据与模型假设,不能消除遗漏变量偏差。

系数标准误描述估计不确定性提供相应独立卡片与原书证据。

t统计量是估计值与假设值差除以标准误;p值在零假设与模型条件下衡量至少同样极端结果的概率,不是零假设为真的概率。训练关联显著不证明因果,也不保证未知样本预测好;星号和“两倍标准误”仅是约定性线索。

显著性不等于预测或因果提供相应独立卡片与原书证据。

训练RMSE=√(SSE/n),线性模型残差标准误通常为√(SSE/(n−p)),p为估计参数秩。只有参数占比很小时才数值接近,不能如原文直接说二者相同。比较自由度、R²和调整R²有助于识别拟合复杂度,但仍要独立验证。

残差标准误与RMSE分母不同提供相应独立卡片与原书证据。

原书依据 · 3 处

预测网页流量 · 连续片段3

因子在设计矩阵中以基准水平编码,单输入R²可比较条件下的训练解释度;原文NA作为默认因子水平须区分真实缺失与字符串类别。

有截距回归常选一个因子水平纳入基准,其他水平系数表示相对于该基准的调整。真实缺失NA并不会自动成为可估计类别,须区分文本”NA”水平和实际缺失及na.action。原文对语言变量的说法不足以推定默认缺失处理;读取与设计矩阵要先核对。

因子系数相对基准水平解释提供相应独立卡片与原书证据。

分别拟合输入可初看解释度,再评估它在组合模型和未知样本上的增量收益。网站案例中广告、语言的单变量训练R²较低,不等于其在所有任务中无用;难采集字段若增益很小,可考虑不纳入,决策还需数据可得性与稳定性。

输入收益须与获取成本比较提供相应独立卡片与原书证据。

原书依据 · 2 处

定义相关性

Pearson相关系数衡量线性关联方向和强度,标准化后简单回归斜率与其对应;近零不等于无非线性关系,更不说明因果。

Pearson相关在−1到1之间描述线性共同变化。对同样完整的非零方差配对样本分别中心化并标准化后,带截距的一元回归斜率等于相关系数。零相关不排除非线性依赖,高相关也不证明因果;原例x²在正区间相关很高,却不是完全线性。

相关系数只刻画线性关联提供相应独立卡片与原书证据。

原书依据 · 1 处

第6章 正则化:文本回归

复杂表示能把弯曲关系转成可拟合的特征,但训练拟合越好不代表泛化越好。正交多项式改善数值表示,保留验证比较复杂度,正则化在损失与参数惩罚之间取舍。超参数选择必须在训练之外,预测又必须复用训练特征变换。文本排名案例的失败提醒数据未必含答案;改成二分类是改变目标,不能绕过公平基准与独立评估。

第6章 正则化:文本回归 · 连续片段1

对原始输入做平方或多项式变换,可在参数线性的模型中表达曲线;训练R²提升不保证复杂表示适合未来。

把x²、x³等变成新特征,再对系数做线性拟合,可在原坐标中表达曲线。模型对系数仍线性,对原输入不必单调。变换必须匹配任务结构,训练拟合提升也可能只是增加自由度;任意复杂关系并不保证能靠有限样本可靠学到。

本节还用广义加性模型(GAM)的平滑展示不预设原坐标直线的拟合;它在此仅作示范,没有展开完整理论。当前geom_smooth的默认方法还受版本及样本量影响,不保证总为GAM。

特征变换让线性参数表达曲线提供相应独立卡片与原书证据。

正弦数据在一个区间内用直线能取得约0.59训练R²,主要捕捉中部递减趋势,却遗漏两端上升。单一拟合优度不能说明模型形式正确,换范围后关系也可能失效;应结合残差、任务范围与独立验证。

训练高拟合仍可能漏掉结构提供相应独立卡片与原书证据。

原书依据 · 3 处

第6章 正则化:文本回归 · 连续片段2

原始高次幂列可能高度相关并造成数值病态,poly使用正交基改善表示,但系数不是原始幂系数,也不解除数据约束。

直接加入高次幂列容易数值相关,估计可能病态。poly(X,degree=d)可生成相对训练观测正交的基,用于更稳定地拟合相同类型函数空间;其系数属于该基,不是x、x²的原始系数。次数仍受独特输入数与数值精度约束,不能承诺任意高阶都无问题。

正交多项式改善基的条件性提供相应独立卡片与原书证据。

原书依据 · 1 处

第6章 正则化:文本回归 · 连续片段3

高阶曲线追随样本小波动,说明灵活性必须与数据量、噪声和验证安排配套;交叉验证与正则化分担评价和约束作用。

更高阶多项式可降低训练误差,却可能追随当前样本的小波动,损害新数据表现。曲线歪曲是警报而非唯一判据;不能仅从参数多或训练误差小就断言全部新样本都会失效。应使用保留数据评估,并通过适当约束控制复杂度。

过拟合是对样本噪声的追随提供相应独立卡片与原书证据。

原书依据 · 1 处

避免过拟合的方法 · 连续片段1

把保留数据当模拟未来,比较不同多项式次数的训练/验证误差;欠拟合两者都差,过拟合可能出现两者分离,再引入系数范数作为复杂度代理。

模型太简单时,训练和验证都可能误差高;复杂度增加后训练误差继续下降而验证恶化,是过拟合信号。选型需看同一评估协议下的泛化表现,不能由单次曲线保证无过拟合。按验证集挑次数之后,该集不再是最终独立测试集。

欠拟合与过拟合看误差差距提供相应独立卡片与原书证据。

独立同分布样本可用随机保留减少系统性取值差异;时间预测应以前训练、以后验证,不能照搬随机拆分。保留集比例由样本量和目标决定,不是固定80/20规则。预处理也需在训练内学习,避免保留数据提前影响模型。

数据拆分要匹配未来情境提供相应独立卡片与原书证据。

系数平方和或绝对值和可作为复杂度代理,避免正负抵消。平方和是L2范数的平方,绝对值和是L1范数,范数本身不等同于完整正则化。相同函数换输入单位会改变系数大小,比较或惩罚前须统一尺度,并明确是否惩罚截距。

系数惩罚依赖特征尺度提供相应独立卡片与原书证据。

原书依据 · 3 处

避免过拟合的方法 · 连续片段2

glmnet计算不同lambda路径,通过保留集选正则强度。稀疏解属于具体惩罚选择,标准化与多项式基都须由训练变换复用。

正则化在训练拟合损失之外加入参数约束或惩罚,以控制模型追随样本噪声的自由度。lambda通常调节惩罚强度,值越大约束越强;适当强度需用验证决定,不保证任何正则化都改善结果。L1常产生精确零系数,L2常收缩系数,二者不能混为一谈。

正则化提供相应独立卡片与原书证据。

一次glmnet拟合可得到一组lambda及对应系数;在训练外评估各候选,再选适合强度。模型参数由训练学得,lambda是控制过程的超参数。路径是有限候选序列,并非“所有可能结果”;训练误差仍可诊断,但不能独自选择泛化最佳强度。

正则路径用验证选择超参数提供相应独立卡片与原书证据。

正交poly基依赖用于构造它的样本。原例分别对training.X和test.X调用poly,再把测试基交给训练系数,会使坐标含义不一致。应保存训练基的变换参数,并用同一变换映射测试集;重训后的基和系数也要一起更新。仅行数、列数一致不足以保证输入契约相同。

预测必须复用训练特征变换提供相应独立卡片与原书证据。

稀疏模型把许多系数置零,能减少用于预测的输入;这只是在当前数据、惩罚与相关结构下的选择。相关特征之间可互相替代,零系数不能证明现实无作用。%Dev表示解释偏差比例,不能跨所有响应族都当作普通线性回归R²。

稀疏系数不证明特征无因果作用提供相应独立卡片与原书证据。

原书依据 · 4 处

文本回归 · 连续片段1

文档词矩阵让词数多于文档数,正则化文本回归仍可能不优于常数;将目标改成前50类别是新任务,不能据此声称找到畅销因果词。

词项特征可能多于文档,普通拟合容易不稳定或过拟合,正则化可约束参数。书籍封底预测排名中,较强惩罚后的常数模型更好,说明当前表示与样本未提供可靠预测增益,而非证明所有文本都不含信息。更不能把高权词当成制造畅销的因果按钮。

高维文本仍可能没有预测信号提供相应独立卡片与原书证据。

多次训练/保留拆分可观察性能波动,但比较lambda时应尽量复用相同划分,避免划分难度混入参数差异。词表和预处理若用全数据拟合,也会引入未来信息。重复使用同一小语料不等于获得许多独立新样本,误差条须按相关性解释。

重复划分评估须公平配对提供相应独立卡片与原书证据。

二元逻辑回归对类别响应建模,以线性分数z经1/(1+exp(−z))转成概率,再按业务阈值分类。它与线性回归的损失、响应假设和链接不同,不只是最后加个阈值;二项响应可为0/1,不代表误差本身只能取0或1。

逻辑回归用链接函数输出概率提供相应独立卡片与原书证据。

原书依据 · 3 处

文本回归 · 连续片段2

glmnet二项默认链接尺度可有正负,逆logit变概率,阈值0对应0.5。简化标签未获得充分泛化证据,代码循环和特征拟合仍要审核。

逻辑回归链接输出可为任意实数,z>0等价于逆logit概率>0.5。需要概率时应用逆链接或明确的response输出选项,再按误判代价选阈值;不能因看到负输出就说模型违反概率范围。原例展示的是链接尺度。

链接分数阈值对应概率阈值提供相应独立卡片与原书证据。

从预测1到100排名改为前50二分类,减少输出细节,但也改变任务、损失和业务含义。原图较低lambda误差接近0.5,不能仅凭均值略低就保证可靠优于基准。原循环内仍重复拟合,文本称无需为每个lambda拟合与代码不符;应固定划分后复用一条路径。

简化目标必须重新验证收益提供相应独立卡片与原书证据。

原书依据 · 2 处

第7章 优化:密码破译

训练可以表述为参数搜索:明确目标、参数空间和可行约束,再选适配算法。网格搜索直观但规模随维数增长;连续平方与岭损失可用数值工具处理。替换密码展示离散双射状态、词典代理评分和随机候选,Metropolis允许有限概率退步以探索。但收敛码、评分上升或更常见单词都不保证真实任务成功,目标与评价必须分开核验。

第7章 优化:密码破译 · 连续片段1

把拟合转为选择参数并最小化目标,网格逐项计算随维数爆炸;optim接受初值和目标函数并返回参数、值、计数和收敛信息。

先定义可调参数及评价函数,再寻找使其最小或最大的参数。在线性回归中,可把截距和斜率打包,目标为残差平方和。固定n时SSE、MSE及其平方根有相同最优点,但目标单位和优化尺度不同;正负残差直接相加不适合作误差损失。

目标函数把拟合变为优化提供相应独立卡片与原书证据。

每维m个候选、d个参数,需要评估m^d个组合。它只保证所列有限网格内最佳,不保证连续全局最优;范围和步长要权衡计算成本。原文10个变量各100候选应为100^10=10^20,并非10^100,维度增长结论仍成立。

网格规模随参数维数相乘提供相应独立卡片与原书证据。

optim用参数初值与目标函数推进搜索,返回par、value、counts及convergence等信息。返回码0表示按方法停止条件收敛,不自动证明全局最优。它有多种方法,默认Nelder–Mead无需导数,不能把所有方法概括为微积分或由局部信息必能认识全局。

优化返回收敛不证明全局最优提供相应独立卡片与原书证据。

原书依据 · 3 处

第7章 优化:密码破译 · 连续片段2

单参数切片看起来单峰有助理解平方损失,但两条轴切片不能证明联合目标全局性质;参数尺度也影响搜索。

分别固定斜率或截距观察损失曲线,只展示两个切片。一般不能由各切片单峰推出联合目标没有其他结构;普通最小二乘的凸性要从完整平方目标判断,唯一性还取决于设计矩阵的秩。图形直觉可辅助诊断,不能替代这些条件。

轴向损失图不能证明联合最优提供相应独立卡片与原书证据。

原书依据 · 1 处

岭回归

岭回归在平方损失加系数平方惩罚,lambda改变拟合与收缩取舍;示例惩罚截距需与实际库区别,不可微损失要选匹配算法。

岭回归在平方残差和外加入lambda倍系数平方和,以较小参数换取稳定性。原例同时惩罚截距a和斜率b,这与许多库不惩罚截距的约定不同;lambda的数值也受是否平均损失及特征尺度影响,不能直接跨实现搬用。

岭损失把拟合与收缩合并提供相应独立卡片与原书证据。

绝对残差和在折点不可微,不能沿用所有依赖平滑梯度的推理。但不光滑不等于不存在全局解,也不意味着optim的所有方法都必失败。应选择适配损失与约束的优化方法,并核验收敛和目标值;原例系数输出约−340.4⁄7.56,文字−360/7.7不一致。

损失不光滑要匹配求解方法提供相应独立卡片与原书证据。

原书依据 · 2 处

密码破译优化问题 · 连续片段1

替换密码以双射映射表示,词典概率给解码文本评分,通过交换映射保持合法;离散排列不能直接按普通连续参数搜索,贪心会受局部陷阱限制。

简单替换把每个字母固定映射到另一个字母,逆映射用于解码。修改一项时要交换两个输出以保持一一对应,否则可能无法还原。凯撒移位和ROT13是这类规则的特例,仅作优化教学,不具备现代加密安全性。

替换密码状态必须保持双射提供相应独立卡片与原书证据。

将解码词在词典中的概率组合,能奖励更像常见英文的输出,却忽略语法和词间依赖。未知词用小正数避免零概率。最大化这种评分不等于找到真实明文;词典覆盖、文本长度与语言不匹配都可能让高分答案失真。

词典评分是语句合理性的代理提供相应独立卡片与原书证据。

原书依据 · 2 处

密码破译优化问题 · 连续片段2

随机候选通过交换字母生成,接受更高分或按概率接受较差解;对数域稳定评分,未知词常数与接受不等式须核对真实代码。

对称候选交换下,更高概率候选直接接受;较差候选以min(1,p新/p旧)接受,因此有机会离开贪心陷阱。对数评分L可算exp(L新−L旧),用u<该值决定接受。原文一处写u大于比值,与随后代码和规则相反,以代码中的小于为准;随机搜索不保证有限步找到真解。

评分比决定退步接受提供相应独立卡片与原书证据。

独立词概率乘积可转换成对数概率和,比较时不必存储极小乘积。未知词给定一个正下界,但.Machine$double.eps表示1附近的相对机器精度,并非最小正浮点数。该常数仍是评分假设,过大或过小会改变搜索偏好。

对数评分避免概率连乘下溢提供相应独立卡片与原书证据。

原书依据 · 2 处

密码破译优化问题 · 连续片段3

搜索可曾经过正确解又离开,因为目标只看单词概率;模拟退火逐步降低退步接受,结果分布与单一最优也是不同目标。

历史轨迹曾到达正确明文又离开:更常见单词的组合可能评分更高,却语法不通。问题在目标函数与任务不一致,单纯加迭代次数不能修复。可引入词间信息和人工核验,并区分当前状态、历史最好与真实正确答案。

优化目标不等于真实任务目标提供相应独立卡片与原书证据。

模拟退火随迭代降低接受较差候选的倾向,先探索再逐步更贪心。温度安排、候选覆盖和停止规则影响结果,有限循环次数不保证真解;多随机种子可暴露波动。持续采样得到状态分布与保存单一最好状态是不同交付目标。

退火改变探索与收敛取舍提供相应独立卡片与原书证据。

原书依据 · 2 处

第8章 PCA:构建股票市场指数

无监督学习不需要目标标签,但仍要明确保留什么结构。股票矩阵中PCA以线性组合提取共同变动,载荷是组合系数,得分是每天的新坐标。成分方向可整体翻转,标准化后能与外部指数比较历史走势。解释方差必须从标准差平方后归一;日期对齐、缺失处理、原单位与标准化选择都会影响结果。本例不提供投资或未来预测证据。

第8章 PCA:构建股票市场指数

没有目标标签也可压缩特征以发现结构;股价表按天为行、股票为列,目标是一列历史描述指数,不是未来收益预测。

无监督学习不依赖已知目标标签,可把多列压成少列以便理解结构。降维会丢信息,应说明想保留的是方差、距离还是其他关系。股价案例用共同变化构造描述性指数,并未学习预测收益,更不能把无监督结构当投资信号。

无监督降维先定义保留结构提供相应独立卡片与原书证据。

原书依据 · 1 处

主成分分析 · 连续片段1

先重排日期—股票矩阵并检查缺失,再PCA得到主成分、载荷和得分;标准差输出不是贡献百分比,按日期对齐后才能比较外部指数。

PCA用原变量的线性组合产生互不相关的主成分,并按方差大小排序。保留前几个成分可压缩冗余,但第一成分不保证保留绝大部分方差,也不保证保留业务最重要的信息。是否按原单位或标准化后计算,会改变结果;应检查解释方差与任务损失。

降维视角提供相应独立卡片与原书证据。

载荷说明原变量如何组合成一个主成分;得分是每条观测在该成分上的新坐标。loadings[,1]取第一成分系数,predict(pca)[,1]得到对应样本得分。主成分整体乘−1不改变表示信息,只改变方向,比较外部指数时可统一符号。

载荷与主成分得分不要混淆提供相应独立卡片与原书证据。

princomp列出的Standard deviations是各成分标准差。解释方差比例应为s_j²除以全部s_k²之和,29.1和20.4不能直接读成29%和20%。判断保留几个成分应看这种归一比例及累计值,而非标准差数字大小本身。

主成分贡献率要平方后归一提供相应独立卡片与原书证据。

将长表按Date×Stock转为价格矩阵,先检查重复键、缺失日期和列的范围;比较DJI时也应按真实日期连接。反转一个序列只在日期一一对应时有效。原文表称2010—2011但代码及观测数涉及2002后时期,不能把文字范围当已核实数据。

时间矩阵与基准必须按键对齐提供相应独立卡片与原书证据。

原书依据 · 4 处

主成分分析 · 连续片段2

翻转成分符号后标准化两指数比较走势,仅说明历史共同变化;melt用于长表绘图,原例transform语法和重复反号应显式核对。

对两个历史序列分别减均值除标准差,可比较形状而不受单位差异主导。先统一成分方向,再保持一致符号;原例后续又加负号且transform缺逗号,不能不检查就复制。同期走势相似仅是描述性符合,未验证新日期预测或投资收益。

标准化方便比较不证明预测提供相应独立卡片与原书证据。

原书依据 · 1 处

第9章 MDS:可视化地研究参议员相似性

相似性必须先由数据表示和距离规则定义。用户评分案例先计算内积关系,再计算这些关系向量的欧氏距离,MDS只把距离近似成二维布局。参议员案例把表决编码简化后作同样处理,党派与姓名随后提供解释背景。零编码的共同缺席、届次身份、低维误差与跨届尺度都会影响结论,因此不能从图中左右或间距直接推断因果或政治变化量。

第9章 MDS:可视化地研究参议员相似性 · 连续片段1

先把用户—产品评分转成用户之间的内积,再说明转置、乘法维度与顺序;内积衡量共同评分方向,却不是标准化相关系数。

用户×产品矩阵X乘X转置得到用户×用户矩阵;X转置乘X则比较产品。相乘时中间维度必须一致,输出保留左矩阵行和右矩阵列。R用%*%作矩阵乘法,不同于逐元素乘法。

矩阵乘法顺序决定比较对象提供相应独立卡片与原书证据。

±1评分的内积把共同赞同或反对记正、意见相反记负,零评分不贡献乘积;对角线为非零评分数。它受共同评价数量和活跃度影响,没有中心化或标准化,不能如正文所称直接当相关系数。内积为0也不等于两人没有共同信息。

评分内积不是相关系数提供相应独立卡片与原书证据。

原书依据 · 2 处

第9章 MDS:可视化地研究参议员相似性 · 连续片段2

欧氏距离把向量差平方求和开方,案例实际上在用户内积关系向量之间计算;经典MDS近似保留输入距离以作低维布局。

欧氏距离是各坐标差的平方和开方。例中dist(ex.mult)比较的是用户对所有用户的内积关系行,不是原始产品评分行;两种表示会产生不同距离。零编码也把未评价当作一个数值坐标,其意义必须进入距离解释。

距离计算要说清比较的向量提供相应独立卡片与原书证据。

多维定标把成对距离转成低维坐标,经典方法在可用维度中近似原距离。二维未必能精确容纳全部距离,例如四个两两等距点需要更高维。它提供布局而非自动分类标签;距离误差和选择的表示共同限制对视觉群组的解释。

MDS近似保留距离作布局提供相应独立卡片与原书证据。

MDS坐标可整体旋转、平移或反射而不改变点间距离。图中靠左、靠上本身没有政治或偏好的固定含义;输入距离有明确单位时可结合拟合误差解释近似距离,而不能把任意坐标位置当独立属性。

布局坐标方向不带业务意义提供相应独立卡片与原书证据。

原书依据 · 3 处

如何对美国参议员做聚类 · 连续片段1

参议院案例用公开记名投票和编码手册构建相似度,先分离身份列与投票列、逐届加载Stata文件;历史政治评论只作研究动机。

外部统计文件的列顺序、类型和数值码须由数据字典解释。投票案例先区分9列身份信息及后续表决,再决定哪些行列进入距离计算;不能把议员ID、党派数字或任职代码当连续意见值。逐届文件也要保留届次与对象对应。

编码手册先解释输入再计算提供相应独立卡片与原书证据。

原书依据 · 1 处

如何对美国参议员做聚类 · 连续片段2

把赞成编码为1、反对为−1、未投票为0,排除非目标身份,再在内积关系上MDS;补回姓名党派用于解释,代码的届次索引与轴反射有差异。

将1—3编码赞成、4—6反对、其他情况为0,可以统一表决向量;却把未在任、缺席、弃权等不同原因合并。它们对内积和距离的影响不一定中性,不能从邻近直接推断政治立场一致。应记录简化损失并检查敏感性。

投票简化会合并不同缺失机制提供相应独立卡片与原书证据。

计算距离时排除的对象,在补回姓名与党派时也必须一致,最好用稳定ID核对,而非仅依赖行顺序。原例101:111列表第9项实际为109届,不是变量名所称110届;整体乘−1也反射两个坐标,不能写成只翻转x轴。

结果身份按同一筛选条件回接提供相应独立卡片与原书证据。

原书依据 · 2 处

如何对美国参议员做聚类 · 连续片段3

按党派着色可见投票分组,缺席与竞选等背景会影响位置;各届独立布局的大小和方向不直接构成两极化时间趋势。

未投票合并为零后,参选或其他原因的共同缺席会影响议员关系向量与距离。图中相邻不必然来自政策一致,离群也未必是极端立场;应回看有效共同投票数和缺失机制。原书对特定人的竞选解释只是情境解释,不是距离结果独自证明。

共同缺席可能伪装成相似意见提供相应独立卡片与原书证据。

各届议题数、投票参与和距离尺度可不同,独立MDS轴也可旋转反射。即使面板共享显示尺度,群组宽窄仍不能直接当作两极化变化量。可观察党派分组,但要比较变化强度,还需统一距离定义、归一和可比较统计指标。

独立布局不能直接量化历史趋势提供相应独立卡片与原书证据。

原书依据 · 2 处

第10章 kNN:推荐系统

k近邻利用局部相似样本投票或评分,关键在于定义距离、选择k并保证训练/测试边界。程序包推荐把用户—包安装关系转成物品列相似度,再按目标用户已安装的邻居比例排序。这个比例提供可解释证据,却不是校准概率;已安装筛除、常量列、身份对齐和冷启动都必须明确。原文逻辑回归基准缺响应族,不能据其分数断言算法优势。

第10章 kNN:推荐系统

固定半径在不均匀密度中表现不同,k近邻改为固定邻居数多数投票;留一邻域与真正保留测试要区分,原逻辑回归比较代码缺响应族且阈值不合适。

kNN先按选定距离找到最近k个训练样本,再用类别投票预测。固定半径在稀疏处可能没有邻居、密集处过多,固定k可调节范围;k、尺度、距离与平局规则仍影响结果,不能从一个非线性案例推断它普遍优于线性方法。

近邻数量替代固定半径提供相应独立卡片与原书证据。

邻居排序时直接丢第一项,只有自身唯一零距离且位居第一时才可靠;重复特征点会打破假设。应按样本ID显式排除自身,再取合法范围内的k项。用其余所有已标注样本为每点投票近似留一,不等于固定训练集上的独立保留评估。

排除自身必须按身份完成提供相应独立卡片与原书证据。

原例手写kNN在100点上错7个,包版在50测试点错7个,两者分母不同。随后名为逻辑回归的glm(Label~X+Y)未指定binomial,且用>0分类,不是公平的二元逻辑模型基准。不能照此把68%对86%作为算法优劣定论。

算法比较先保证接口与指标一致提供相应独立卡片与原书证据。

原书依据 · 3 处

R语言程序包安装数据 · 连续片段1

程序包安装矩阵以列相关表示物品相似,转不相似度后按近邻已安装比例打分;用户ID、零方差列、已安装候选和冷启动都影响可用性。

基于用户的方法找喜好相近的人再参考其偏好;基于物品的方法找相似物品再参考目标用户已交互项。完整两两表成本分别约随用户数或物品数平方增长,可作为选择线索,但稀疏度、更新与效果也重要,不能只按数量判定最优。

用户近邻与物品近邻不同提供相应独立卡片与原书证据。

把User×Package转成宽表,以1/0标记安装情况,保留稳定用户ID并移除数值ID列,避免它污染相似性。未安装不必表示不喜欢,依赖安装也不必表示主动选择。非连续用户ID应按标识查行,不把行位置误当用户号。

安装矩阵不等于显式偏好评分提供相应独立卡片与原书证据。

案例用d=−log((r+1)/2)把相关1映射0、相关−1映射无穷。常量列的相关可能为NA,数值误差也要检查;这种单调变换未证明满足三角不等式,不能无条件叫通用距离度量。负相关与从未共同安装的含义也须结合数据解释。

相关转不相似度需处理边界提供相应独立卡片与原书证据。

计算候选物品的k个邻居中目标用户已安装的比例,可用来排序。0.76表示19/25近邻已安装,不是经验证的76%安装概率。推荐前还应剔除已安装、不兼容或不可用项,处理无邻居和新用户情况;本例排名未包含完整产品约束。

近邻安装比例是推荐评分提供相应独立卡片与原书证据。

原书依据 · 4 处

R语言程序包安装数据 · 连续片段2

物品近邻能以已安装的相似包解释推荐,但解释需要对上实际邻居与输入语义,不能代替效果验证。

可以说明候选P与已安装X/Y/Z相似,从而解释为什么得到高评分。解释应展示实际参与评分的邻居及其关系,不能把依赖共装或偶然相关写成偏好因果。可解释性有助排错与选择,但仍需要保留数据或真实反馈评估推荐是否有用。

近邻解释应对应真实推荐证据提供相应独立卡片与原书证据。

原书依据 · 1 处

第11章 分析社交图谱

网络分析先规定节点与有向关系的意义。历史接口把公开关注快照转为边列表,滚雪球在轮数与已访问集合约束下扩展。核、个体网、路径剖面及层次分组是不同转换,不能把一次矩阵类型转换误说成没有重算距离。布局再把大小、颜色和位置用于展示,推荐则从开放三角生成候选并按共同关注或圈子分别排序。关注不等于友谊,快照覆盖、缺失、身份和真实反馈始终限制解释。

第11章 分析社交图谱 · 连续片段1

关系网络把对象与联系建模,埃尔德什数示范路径距离;个体网络包括种子、邻居及邻居之间关系。七桥历史例应与访问顶点的旅行商区别。

在合著图中,以论文合著为边,埃尔德什数表示到指定作者的最短合著路径边数。它描述已记录合作关系,不是个人声望或研究质量的直接刻度。图上的近远取决于边的定义与覆盖,未连通对象也可能没有有限距离。

关系路径描述连接距离提供相应独立卡片与原书证据。

个体网络包括一个种子、直接邻居、种子与邻居的边,以及邻居之间的边。它可用于观察本地圈子,不能只取星形边列表就声称已包含邻居互连。在有向图中还要明确邻居指入边、出边还是两者。

个体网络保留邻居之间联系提供相应独立卡片与原书证据。

图用节点表示对象、边表示关系;边的方向、权重和标签都来自建模选择。七桥问题要求每条边恰走一次,是欧拉路径问题,与通常要求访问各顶点并优化路程的旅行商问题不同。原文将其称为旅行商变型不宜照搬。

边的定义决定图问题类型提供相应独立卡片与原书证据。

原书依据 · 3 处

第11章 分析社交图谱 · 连续片段2

无向边表达对称关系,有向边表达单向关系,带符号或权重边增加关系语义;历史产品功能只作为建图例。

有向图的u→v与v→u是不同关系,出度数从u发出的边,入度数指向u的边。关注不自动代表互相认识、认可或喜欢。无向图及符号/权重图是不同建模选择;原文把Twitter再称无向图是文字冲突,应依后续有向处理。

关注方向不能当互为好友提供相应独立卡片与原书证据。

原书依据 · 1 处

用黑客的方法研究Twitter的社交关系图数据 · 连续片段1

历史SGA汇集公开连接且缓存滞后,出入边分别对应关注与被关注;两轮滚雪球限定局部样本,作者已注明服务关闭并提供旧快照。

历史社交关系缓存只覆盖公开链接,抓取周期造成已失效关注仍可能存在;私有账户或不可访问关系也会缺失。因此本地快照不等于用户当前完整网络。原书脚注已注明SGA关闭,旧查询地址、额度和API参数仅作接口案例,本轮未请求账户关系。

缓存关系图不能当实时全量图提供相应独立卡片与原书证据。

从一个种子扩展邻居,再以新邻居继续扩展若干轮,得到局部网络样本。高连接节点可能使请求、存储和内存快速增长;轮数、去重和访问预算需预设。样本受起点、公开性与缓存影响,不是对整个社交网络的随机抽样。

滚雪球样本受种子与轮数限制提供相应独立卡片与原书证据。

原书依据 · 2 处

用黑客的方法研究Twitter的社交关系图数据 · 连续片段2

HTTP请求、JSON解析、节点清洗与边列表构造分层;原例无限重试和URL子串筛选不足以证明稳定性,建图需要保留方向与空结果形状。

原例只检测固定Service Unavailable文本并无限立即重试,既无次数上限,也无等待或完整状态检查。实际流程应区分HTTP失败、响应解析失败与合法空数据,并定义重试预算和恢复记录;本轮只分析历史代码,不访问已关闭端点。

网络重试应保留失败边界提供相应独立卡片与原书证据。

两列边列表以第一列为来源、第二列为目标。历史返回中的out关系生成种子→关注对象,in关系生成粉丝→种子,再合并为图。空结果、唯一账户标识和方向必须一致;URL子串匹配或任取JSON第一个节点不能保证身份正确。

边列表显式保存起点终点提供相应独立卡片与原书证据。

原书依据 · 2 处

用黑客的方法研究Twitter的社交关系图数据 · 连续片段3

滚雪球以待访问和已访问集合推进,最后按语义去重边;原代码逻辑索引写法及空边处理有问题,多重边是否删除依关系含义决定。

维护本轮候选、下一轮候选及已访问集合,访问前排除已见节点,成功或失败状态按约定记录,再按轮数停止。原例!which(...)不是逐项取反的成员掩码;应区分逻辑过滤与位置索引,且空矩阵也要有稳定维度。

遍历去重同时约束请求与状态提供相应独立卡片与原书证据。

同一关注关系重复抓取通常应按有序端点去重,避免错误增加度数。若边表示多次交易、消息或不同关系类型,多重边可能本就是有效数据,不能因当前例子删除就说多重图没有分析价值。身份、方向与边类型决定去重键。

重复边是否去除取决于语义提供相应独立卡片与原书证据。

原书依据 · 2 处

分析Twitter社交网络 · 连续片段1

历史快照添加标签、提取入向2核与出邻居个体网,再由路径关系做层次聚类;核数递归定义与dist对矩阵行重新求距离均需说明。

k核要求保留子图中每个节点都满足相应度下限,删去不足者后还要继续检查,不是只按原图度数过滤一次。有向图要声明采用入度、出度或总度。核提取可减去外围节点,也会改变样本范围,不能默认被删除关系没有分析价值。

k核是子图内的递归连通条件提供相应独立卡片与原书证据。

提取种子及出邻居子图时,应按稳定名字或当前API的顶点序列识别种子。原代码c(0,neighbors(…))假定种子恰好在0号,旧igraph与R下标差异也只适用于对应版本,不能在当前环境机械加减1。先核对身份再转换索引。

图顶点身份不能依赖旧版下标提供相应独立卡片与原书证据。

shortest.paths产生节点间路径长度矩阵,dist(user.sp)会再计算这些行向量之间的距离,并非只转换格式。若想直接对已有距离聚类,需使用相应距离对象及不可达处理;若刻意比较距离剖面,则应明确这是另一种相似性定义。

距离矩阵不应再被当特征表提供相应独立卡片与原书证据。

原书依据 · 3 处

分析Twitter社交网络 · 连续片段2

层次树展示不同粒度,cutree给组标签,再保存到GraphML;人为把首节点改0仅是展示标记,应按身份并保留算法结果。

层次聚类给出不同粒度的嵌套分组,cutree(...,k=i)选择i组并给对象成员标签。分组受距离与连接规则影响,不证明现实存在同样数量的圈子;k要受样本数约束,需保留节点顺序对应。人为另标种子不应覆盖原始分析标签。

层次树切分粒度需与目标一致提供相应独立卡片与原书证据。

GraphML可保存节点、边以及标签和分区等元数据,适合R与图可视化工具交换结果。导出前核对有向性、唯一节点ID、属性类型与成员对应,导入后复核数量;XML大小和解析成本也需考虑。文件存在不等于图和分析属性完整。

图文件交换要保留属性契约提供相应独立卡片与原书证据。

原书依据 · 2 处

使用Gephi可视化Twitter聚类网络

Gephi加载有向图后用力导向布局,节点大小映射入度、颜色映射切分;布局与聚类是不同操作,书中人物身份只作历史解释。

力导向模拟节点排斥和边牵引,将图布置成易读位置;聚类标签则来自另行计算的分组。两者可能呈现相近结构,却不是互相验证。布局位置没有固定地理或心理含义,算法、随机性及参数都可能改变视觉圈子。

力导向布局与聚类标签分开提供相应独立卡片与原书证据。

节点大小可映射入度,颜色可映射某次层次切分标签,标签显示身份。先确认使用哪张子图、哪类度和哪个分区,再解释突出节点;出邻居个体网不保证所有邻居反向关注种子,因此种子也不必然入度最大。旧菜单和人物职务仅属书中快照。

图形映射必须标清数据含义提供相应独立卡片与原书证据。

原书依据 · 2 处

建立“感兴趣的人”引擎 · 连续片段1

社会平衡用有符号关系描述三角,但单向关注没有敌友符号;推荐只按共同关注闭合开放三角,规范候选后以朋友覆盖比例排序。

朋友的朋友可作为候选,尤其是被许多已关注对象共同关注的人。该启发式利用局部重叠,不证明关注代表友谊或认可,也不能把缺少关注当作敌对。社会平衡的正负关系前提与普通单向关注不同,推荐结果需实际反馈检验。

三角闭合是推荐假设提供相应独立卡片与原书证据。

保留从种子已关注对象发出的边,排除种子本人及已经关注的目标,再按候选被多少朋友关注计数。用该数除以朋友数便于同一用户内解释,但不是关注概率;应先去重关系、处理零朋友和样本缺失。方向颠倒会把推荐变成另一问题。

共同关注推荐先过滤候选提供相应独立卡片与原书证据。

原书依据 · 2 处

建立“感兴趣的人”引擎 · 连续片段2

把同一候选集按朋友所在圈子分别计数并取各组首项,去重后提供多兴趣推荐;原单行维度退化和样本解释不能忽略。

在共同关注候选中,按已知圈子分别统计支持者,取各圈子的高分候选,再去重。它可避免全局热门项淹没小兴趣,但成员切分和每组样本量会影响结果;不能从历史人物叙述保证推荐准确。空组、单边子集和同分候选都要保持明确处理规则。

按圈子选候选覆盖多种兴趣提供相应独立卡片与原书证据。

原书依据 · 1 处

第12章 模型比较

模型选择必须先确定任务类型与公平协议。核能表示不同边界,但数值标签会让e1071默认执行回归;cost也不能沿用lambda的方向解释。原书在同一保留集上搜索lambda和k,只能形成验证结果。比较应公开特征、指标、搜索投入与运行成本,再用未参与选择的数据评估,胜负才有明确适用范围。

第12章 模型比较 · 连续片段1

条带数据上比较逻辑回归与SVM,核改变特征内积形式;原数值标签默认回归的陷阱须先解除,训练效果不能代替泛化。

e1071的svm会依据响应类型选择默认任务:factor用于分类,数值向量用于回归。书中0/1数值Label直接传入svm后将输出以0为阈值二值化,不能据此把结果称为标准SVM分类。复现时先固定标签levels与type,再核对预测类别;若主动用回归打分,应另行确定阈值与评估含义。

分类标签类型决定SVM任务提供相应独立卡片与原书证据。

核方法以特征映射后的内积构造模型,使原始坐标中的非线性边界成为可能。线性、多项式、径向与S形核有不同形式和参数,不能只按名称宣布优劣。条带示例说明线性边界可能不足,是否更好仍须按正确任务类型和独立验证确定。

核函数改变模型表达方式提供相应独立卡片与原书证据。

多项式核的degree改变表达能力。更高阶可能改变训练边界和计算成本,也可能拟合噪声;不保证训练误差严格下降,更不能保证新数据更好。各阶数应在同一验证方案下比较,最终测试集保留到选择结束。

多项式阶数属于调参选择提供相应独立卡片与原书证据。

原书依据 · 3 处

第12章 模型比较 · 连续片段2

cost是约束违例代价而非glmnet同方向lambda;gamma效果依赖核与数据,四个历史数值并非单调趋势。

软间隔SVM的C(e1071参数cost)控制违例损失相对间隔正则项的权重。较大C提高违例代价,不能沿用glmnet中较大lambda表示更强正则化的方向解释。书中cost增大而报告准确率下降的样例,既不能反证定义,也不能证明越大越好,应先修正任务类型再验证。

SVM的C与惩罚强度别倒置提供相应独立卡片与原书证据。

gamma参与径向、多项式或S形核的计算,作用随核形式与特征尺度不同。它与cost及degree共同影响边界,数值增大不保证精度提高。书中S形核的四个结果本身也非单调改善,不能只凭图形更复杂判定模型进步。

核参数必须联合验证提供相应独立卡片与原书证据。

原书依据 · 2 处

第12章 模型比较 · 连续片段3

转入同一邮件数据上的多模型比较,承接前面的核与调参,不另立重复卡。

算法比较 · 连续片段1

在相同邮件划分上比较正则逻辑回归、两种核SVM和kNN;须区分验证与最终测试、任务类型、指标名称及调参预算。

比较算法先固定目标、数据划分、预处理和指标,再分别调参。书中反复在所谓测试集选择lambda和k,实际上把它用作验证集;最小错误率会乐观,需另留最终测试集或采用嵌套交叉验证。训练折拟合词表、标准化等预处理以避免泄漏,并记录随机种子、任务类型和搜索预算。

模型比较必须固定评估协议提供相应独立卡片与原书证据。

mean(predictions!=test.y)是分类错误率。对严格0/1预测与标签,它数值等于平方误差平均,但不等于概率预测的MSE,也不应与回归误差混用。书中0.06830769约为6.83%,记录时保留精度、类别基线和阈值规则,不笼统写成6%。

零一错误率要按实际公式命名提供相应独立卡片与原书证据。

一个模型充分搜索lambda,另一个只用默认cost,结果混合了算法与投入差异。应公开搜索范围、训练时间、验证次数和停止条件;同等预算或实际部署约束下比较更有解释力。默认SVM胜负不能用来证明数据边界一定线性。

调参预算也是比较条件提供相应独立卡片与原书证据。

在同一验证协议下多个lambda得到相同最低错误率,可用较大lambda作为偏向强约束的确定性规则。该规则只用于glmnet这类相同参数语义的候选,不自动迁移到SVM的C;还需考虑性能不确定性、复杂度与实际成本。

同分模型可偏向更强约束提供相应独立卡片与原书证据。

原书依据 · 4 处

算法比较 · 连续片段2

收束为任务依赖、合理搜索与理论基础;历史邮件结果及行业断言不扩张成通用结论。

某次邮件数据中调参后的逻辑回归胜出,只支持对应数据、表示、划分和搜索预算下的结论。真实结构、样本量、噪声与运行成本都影响选择;应保留简单基线,比较多个可行候选,再以独立测试验证。书中对当时行业采用情况的叙述不能代替当前证据。

最优模型依赖任务与约束提供相应独立卡片与原书证据。

原书依据 · 1 处

参考文献与封面说明

参考文献提供继续学习的书籍和论文入口,不等于本书展开了这些理论;封面附记仅解释出版设计。

参考文献

逐条读取15项图书参考,统一登记作者、年份与用途;书目本身没有展开理论,不生成冒充读过这些著作的知识卡。

论文

逐条读取7项论文或评论资料,按正式书目纠正正文简写和此前未确认标题;引用仅登记不伪造方法内容。

封面介绍

封面说明给出兀鹫的体貌、地理分布、食腐习性及历史寿命纪录,属于封面设计说明,不参与机器学习方法主线。

跨章综合

分类与回归共享特征和损失选择,却不能把数值标签、阈值或误差名称混用;PCA、MDS及聚类同样依赖相似性定义,图形并不会自动证明真实群体。历史邮件、股票、选票和关注快照都说明:先问样本如何产生、变量代表什么,再解释模型输出。简单基线、训练内拟合预处理、明确验证用途和可复现参数记录,贯穿所有章节。

发散与实践

延伸实践以计划交付:一项固定glmnet源码追踪正则路径与交叉验证,一项设计邮件分类的公平比较实验。均包含首轮材料与可执行验收条件,未运行模型训练或访问个人数据。

生成进度与管理记录

机器学习:实用案例解析

执行模式:light 本轮规则:book-workflow v4 / book-notes v24 –mode light;历史首次Skill版本未记录,不回填。 建档进度:done 四象限结论:工程实践(高浓度、低稳定性),沿用历史评级。 内容形态:操作手册型,沿用已有识别;概念解释仍单独保留。 判断理由:模型、数据准备和比较方法有高解释密度;案例代码、R包及外部接口依赖出版时环境,具体权重和建模选择需要任务验证。独立条751维持P6,合集174的本分册按用户指定处理。 旧类别、清单及旧5卡原件保存在/Users/wangyi/claudecodeProject/bookBase/book-notes/.local/runs/ml17415-20261114/before,旧done不代替本次全文证据。 整书笔记

章节进度追踪表

章节号 章节标题 状态(pending/done) 卡片数
00 译者序与前言 done 2
01 第1章 使用R语言 done 20
02 第2章 数据分析 done 23
03 第3章 分类:垃圾过滤 done 17
04 第4章 排序:智能收件箱 done 21
05 第5章 回归模型:预测网页访问量 done 19
06 第6章 正则化:文本回归 done 16
07 第7章 优化:密码破译 done 12
08 第8章 PCA:构建股票市场指数 done 6
09 第9章 MDS:可视化地研究参议员相似性 done 10
10 第10章 kNN:推荐系统 done 8
11 第11章 分析社交图谱 done 20
12 第12章 模型比较 done 10
90 参考文献与封面说明 done 0

非正文排除

spine项 类型 排除理由
3167 完整读取后排除 封面只核对身份
3168 完整读取后排除 版权页只核对出版信息
3169 完整读取后排除 纯目录用于计划
3170 完整读取后排除 作者历史履历,无方法正文
3171 完整读取后排除 译者历史履历,无方法正文
3172 完整读取后排除 出版社宣传
3173 完整读取后排除 出版社业界评价
3177 完整读取后排除 排版约定
3178 完整读取后排除 示例使用许可,非技术正文
3179 完整读取后排除 联系方式与旧网站
3180 完整读取后排除 致谢人名与创作缘起,无独立技术讲解

待关联术语

术语名 出现章节 一句话语境
监督学习与无监督学习 00 译序只概括两类路线,具体定义由第8章承接。
CRAN 00 R程序包发布资源,非算法正确性保证。
RSeek、R邮件列表、StackOverflow、R-bloggers、Video Rchive 01 表1-1历史帮助资源,仅目录介绍,不宣称当前可用。
arm、lme4 01 表1-2多水平/混合效应回归包,未展开模型机制。
ggplot2、glmnet、igraph、lubridate、RCurl、reshape、RJSONIO、tm、XML 01 表1-2按绘图、正则化、图、日期、通信、重整、JSON、文本和XML分工;具体用法以后续正文为准。
SpamAssassin公开语料库 03 邮件案例的数据来源,区分spam/easy ham/hard ham,未下载或运行。
独立成分分析(ICA) 08 章末推荐未展开机制,不能当作PCA普遍替代方案。
Voteview、Stata、foreign/read.dta 09 历史公开投票来源和文件读取入口,未下载个人数据或执行案例。
Kaggle R程序包推荐竞赛 10 历史安装数据案例来源,未下载执行。
矩阵分解、集成方法 10 章中只概述组合推荐方向,没有展开训练机制。
RESTful API、OAuth 11 历史访问形式提名,未展开协议或鉴权机制。

引用文献

标题 类型 出现章节 一句话语境
The Elements of Statistical Learning 书 00 作为理论基础参考提名,未读外书。
Programming Collective Intelligence 书 00 作为案例教学参考提名,未读外书。
How can I avoid this loop or make it faster? 文章 01 向量化参考,未读外部全文。
Data Manipulation with R 书 01 表1-3作为R学习参考,未读外书。
R in a Nutshell 书 01 表1-3作为R学习参考,未读外书。
Introduction to Scientific Programming and Simulation Using R 书 01 表1-3作为R学习参考,未读外书。
Data Analysis Using Regression and Multilevel/Hierarchical Models 书 01 表1-3作为R学习参考,未读外书。
ggplot2: Elegant Graphics for Data Analysis 书 01 表1-3作为R学习参考,未读外书。
An Introduction to R 书 01 表1-3作为R学习参考,未读外书。
The R Inferno 书 01 表1-3作为R学习参考,未读外书。
R for Programmers 书 01 表1-3作为R学习参考,未读外书。
The Split-Apply-Combine Strategy for Data Analysis 论文 01 表1-3提名分组计算,未读外文。
R Data Analysis Examples 资料 01 表1-3示例目录,未核验当前地址。
Causality 书 02 因果分析参考提名,未读取外书。
RFC822 标准 03 邮件头/正文分隔的历史协议提名,未将其当完整现行MIME规范。
The Learning Behind Gmail Priority Inbox 论文 04 本书对其四类特征与行为目标有介绍,未读取原论文全文。
All of Statistics 书 05 不确定性分析参考,未读外书。
Can a Polarized American Party System Be ‘Healthy’? 文章 09 本章2010政治评论与研究动机提名,不核实现时政治结论。
公共场所行为:关于社会组织聚集的说明 书 11 题辞引用,未读外书。
Social Network Analysis: Methods and Applications 书 11 网络分析参考提名。
Social and Economic Networks 书 11 网络分析参考提名。
Networks, Crowds, and Markets 书 11 网络分析参考提名。
Racial Cleavage in Negro-White Groups 论文 11 [JC37]计量社会学历史研究,题名待书末文献核对。
The Elements of Statistical Learning 图书 12 Hastie、Tibshirani、Friedman;补足原理的延伸入口,不宣称已阅读。
Pattern Recognition and Machine Learning 图书 12 Bishop;理论教材入口,不把列名当作本书已展开理论。
R in a Nutshell 图书 90 Adler,2010;本书参考书目,未阅读外部全文。
Flatland: A Romance of Many Dimensions 图书 90 Abbot,1992;本书参考书目,未阅读外部全文。
Pattern Recognition and Machine Learning 图书 90 Bishop,2006/2007;本书参考书目,未阅读外部全文。
Data Analysis Using Regression and Multilevel/Hierarchical Models 图书 90 Gelman与Hill,2006;本书参考书目,未阅读外部全文。
The Elements of Statistical Learning 图书 90 Hastie等,2009;本书参考书目,未阅读外部全文。
Introduction to Scientific Programming and Simulation Using R 图书 90 Jones等,2009;本书参考书目,未阅读外部全文。
Programming Collective Intelligence: Building Smart Web 2.0 Applications 图书 90 Segaran,2007;本书参考书目,未阅读外部全文。
Data Manipulation with R 图书 90 Spector,2008;本书参考书目,未阅读外部全文。
ggplot2: Elegant Graphics for Data Analysis 图书 90 Wickham,2009;本书参考书目,未阅读外部全文。
The Grammar of Graphics 图书 90 Wilkinson,2005;本书参考书目,未阅读外部全文。
Causality 图书 90 Pearl,2009;本书参考书目,未阅读外部全文。
Social Network Analysis: Methods and Applications 图书 90 Wasserman与Faust,1994;本书参考书目,未阅读外部全文。
Social and Economic Networks 图书 90 Jackson,2010;本书参考书目,未阅读外部全文。
Networks, Crowds, and Markets: Reasoning About a Highly Connected World 图书 90 Easley与Kleinberg,2010;本书参考书目,未阅读外部全文。
All of Statistics 图书 90 Wasserman,2003;本书参考书目,未阅读外部全文。
R help desk: How can I avoid this loop or make it faster? 论文/评论 90 Ligges与Fox,2008;原书参考项,外部全文未阅读。
The Learning Behind Gmail Priority Inbox 论文/评论 90 Aberdeen等,2010;原书参考项,外部全文未阅读。
The Split-Apply-Combine Strategy for Data Analysis 论文/评论 90 Wickham,2011;原书参考项,外部全文未阅读。
What Has Driven Women Out of Computer Science? 论文/评论 90 Stross,2008;原书参考项,外部全文未阅读。
Racial Cleavage in Negro-White Groups 论文/评论 90 Criswell,1937;原书参考项,外部全文未阅读。
Can a Polarized American Party System Be ‘Healthy’? 论文/评论 90 Galston,2010;原书参考项,外部全文未阅读。
Members Offered Many Bills but Passed Few 论文/评论 90 Singer,2008;原书参考项,外部全文未阅读。

资金安全问题案例

问题标题 问题卡 解决方案卡(如有) 出现章节 一句话说明

无已识别具体资金并发安全案例;股票PCA仅为历史统计分析,不作为投资建议。

实践卡进度

序号 实践标题 实践方式 状态(pending/done) 关联章节 产出
1 正则路径源码深读 实现深读 done 06、12 正则路径源码深读;计划与首轮材料已交付,未运行模型
2 邮件模型公平比较 真实任务 done 02、03、06、12 邮件模型公平比较;计划已交付,实验未执行

实践候选筛选:done 轻量模式:未执行笔记复核、独立审查及审查结果优化。没有执行原书代码、下载个人社交关系、开展投资或现实干预。 实践取舍:保留正则路径深读与公平比较两项;R安装与清洗并入实验协议,图/降维作为后续问题不另凑实践;失效社交接口、个人关注抓取及真实投资不采用。

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

暂无公开主题。