此笔记位置已失效,请从目录继续阅读。
全书导读
本书以R语言和实际案例串起数据整理、探索、分类、排序、回归、优化、降维和推荐。对象是能编程但希望理解模型适用性的读者。案例来自出版时的数据与软件环境,本轮不把历史包接口、Twitter/Google API、安装菜单或市场数据当作当前承诺;未运行这些原书案例。
全书主线
机器学习实践是一条可检验的数据转换链:先将原始记录整理成含义明确的变量,通过分布和可视化发现表示问题;再按分类、排序、连续预测或结构探索选择目标。模型只是链条中的一环,目标函数、训练边界、参数选择和结果解释共同决定能否得到可靠结论。后半书的优化、降维、邻居与图,把同一原则推广到不同表示,最后以公平模型比较收束。
译者序与前言
本书把机器学习看作从样本归纳模式的工程过程。案例教学以问题为起点,既学习如何调用工具,也追问方法何时适用;数据规模、样本选择和目标定义仍限制结论。前言只提供路线,具体技术在后续各章展开。
译者序
译者序以分类、回归、无监督案例说明从经验数据学习模式的目标,说明12章案例可在基础R之后按兴趣进入;联系方式和夸张学习承诺不当作算法结论。
前言
机器学习从已观察的样本中归纳模式,再用于识别或理解情境;本书面向愿意动手探索、已有编程经验的读者。
机器学习用观测样本建立可复用的模式,再用于识别新对象或理解情境。邮编识别需要图片与对应标签,模型从这种对应关系学习,而非只保存一套手写规则。样本是否代表目标情境会限制模型的可迁移性;数据量大本身不能保证数据正确或任务可学。
机器学习从样本提炼模式提供相应独立卡片与原书证据。
原书依据 · 1 处
本书的组织结构
案例教学在理论深度与应用广度之间取平衡:围绕明确问题比较方法适用性,基础数据处理之后分别讨论分类、排序、回归、优化、降维和推荐。
先确定要预测、排序还是发现结构,再选择模型并检查它为何适用于该情境。案例教学通过一个已研究清楚的问题连接输入、方法和结果,不要求从头实现所有底层算法;会调用R包也不能代替理解方法的前提。
案例学习先界定问题提供相应独立卡片与原书证据。
原书依据 · 1 处
第1章 使用R语言
建模首先依赖可用且可解释的数据。UFO记录案例从TSV读取开始,逐步规范日期和地点、限定美国与时期、按州和年月聚合,再用分面图检查趋势。R的数据框、逻辑索引、列表映射、按键合并和分层绘图服务同一条处理链。原始记录、有效样本和图形之间每次转换都有假设,报告数尤其不能直接当真实事件发生率。
第1章 使用R语言
本章将观测、学习和自动化串起,引入训练集,再用R数据整理案例建立后续模型的输入基础。
训练集是用于构建学习过程的数据集合。算法在观测中寻找可复用结构,把未建模的变化当作噪声;这种划分依赖任务与模型,并不证明所有剩余变化在现实中都无意义。训练过程识别模式,随后才谈自动化使用。
训练集与信号噪声提供相应独立卡片与原书证据。
原书依据 · 1 处
R与机器学习 · 连续片段1
R把统计函数、数据组织与绘图放在同一环境,适合书中小数据原型;安装应区分二进制与需编译器的源码。书中预装R及32/64位界面属于历史说明。
数据框把长度一致的列向量组合成表:一行是一条观测,一列是一个变量,不同列可以有不同类型。它便于把清洗后的数据交给统计函数。它不是要求所有单元同一类型的普通矩阵,也不能把书中“所有数据都是向量”当作R对象系统的完整定义。
R数据框按列组织观测提供相应独立卡片与原书证据。
R内置统计建模和结果绘图接口,适合以较少代码探索小型案例。统计结果对象仍需理解系数、残差等含义;原型验证成功也不证明能承受生产数据规模。书中将R作为数据沙箱再迁移实现,是当时的工程安排,不是对语言规模能力的永久判决。
统计原型需另验部署边界提供相应独立卡片与原书证据。
先按操作系统选择R分发包。二进制安装复用已编译程序;源码安装需要匹配的C/Fortran等构建工具,再执行配置、构建和安装。书中Mac预装R、双应用与旧菜单只描述出版时环境,复现前须核对目标系统和版本;本轮未安装。
Linux部分同样强调发行版差异,运行R只能检查本机可执行入口;原文“许多版本预装”不作为当前事实。
R环境安装区分源码与二进制提供相应独立卡片与原书证据。
集成开发环境和文本编辑器
控制台适合短交互,脚本编辑器适合保存和重跑完整案例;图1-3仅展示旧GUI的新建文档入口。
用控制台交互查询和执行短命令,用脚本文件保存清洗和建模步骤,便于修改与重复运行。书中GUI可新建文本脚本,也允许使用熟悉的IDE或编辑器;选择界面不改变算法,只改变输入和维护代码的方式。
脚本与控制台分担工作提供相应独立卡片与原书证据。
原书依据 · 1 处
安装和加载R程序包
包安装与加载是两个步骤,library/require加载已安装包;仓库安装与本地源码包安装参数不同。程序包表是分析工作所需能力地图,不表示任意版本彼此兼容。
install.packages("tm", dependencies=TRUE)从所选仓库安装包及依赖;之后用library(tm)加载。require(XML)可返回加载成功与否,调用者不能忽略失败后继续用其函数。安装到磁盘不等于当前会话已加载,加载也不保证本书旧API仍兼容。
R程序包先安装再加载提供相应独立卡片与原书证据。
本地归档可用install.packages("RCurl_1.5-0.tar.gz", repos=NULL, type="source")安装。先确认文件路径和构建工具,再禁止仓库查找并声明源码类型。书中正文提到suggests参数,而展示代码实际是dependencies;复现采用实际接口核验,不把两者当作同名参数。
本地R源码包显式禁用仓库提供相应独立卡片与原书证据。
机器学习中的R基础 · 连续片段1
UFO记录先加载为数据框,再明确分隔符、表头、缺失和类型,检查首尾、按文档命名列;日期转换暴露畸形输入。
读取TSV时显式指定sep="\t"、header=FALSE、na.strings="",并按需要禁止字符串转因子。用head/tail检查结果,再用names(x)<-c(...)按数据字典命名。否则默认表头或类型推断可能静默改变首行、类别和缺失含义;默认值须结合目标R版本核验。
R读表显式声明数据契约提供相应独立卡片与原书证据。
R因子以有限水平表示分类变量,例如把州名缩写转为类别。内部整数编码仅对应标签,不表示州之间的大小或距离;需要日期计算的字段也不能当作任意字符串或因子。先明确列语义,再选择类型。
同一IsSpam标签可以用yes/no因子或0/1表示;算法输入和解释输出必须保留正类约定,不能按内部水平序号猜含义。
因子标签不是连续数值提供相应独立卡片与原书证据。
用as.Date(x, format="%Y%m%d")解析紧凑日期,转换报错时先定位原字段并查看问题行,再决定修复或排除。长度为8只是输入格式筛查,不能证明日期存在或记录可靠;原始目击报告也不等于真实天文事件。
日期转换先检查格式提供相应独立卡片与原书证据。
机器学习中的R基础 · 连续片段2
按日期长度构造逻辑掩码排除畸形行,再拆城市/州并用lapply及do.call合并。解释中的which、strsplit和长度校验与真实代码有偏差,需按实际语义限定。
逻辑条件逐行生成TRUE/FALSE,x[mask,]按条件筛选;which(mask)返回TRUE的位置,which(!good.rows)才定位不合格行。原文把which说成返回FALSE向量不准确。NA也不是FALSE,缺失判断应显式处理。排除少量数据仍需检查是否集中于某类群体。
逻辑掩码与位置索引分开提供相应独立卡片与原书证据。
拆分城市与州后,解析器应保证恰好返回两项,失败时返回两项NA。原例只拒绝长度大于2,不能覆盖无逗号的一项结果;无逗号不必然使strsplit抛异常。去首空格也需正确的正则,原例展示的gsub("^", "", ...)不能当作删除空格的充分实现。
地点解析要校验结果形状提供相应独立卡片与原书证据。
lapply(x, f)逐项应用函数并返回列表,do.call(rbind, result)再把各项按行绑定为矩阵。要先保证每项长度和含义一致,随后才把列加入数据框;否则回收或错位会破坏城市与州的对应。双中括号取元素,单中括号取子列表,不宜简单解释成通用键值表。
批量映射后按行绑定提供相应独立卡片与原书证据。
机器学习中的R基础 · 连续片段3
州名用允许列表匹配并筛除,随后以摘要和直方图认识时间范围,明确只分析1990后记录,再选择年月聚合粒度。
先统一州缩写大小写,再用match在美国州列表中找位置,未匹配值为NA,subset(...,!is.na(USState))保留目标记录。格式像“城市,地区”不能证明属于美国;允许列表定义的是此次样本范围,不能从排除结果推断原始记录虚假。
允许列表定义分析样本提供相应独立卡片与原书证据。
摘要和直方图揭示时间跨度及稀疏区间,再按明确问题选择分析窗口。UFO案例聚焦1990以后以便比较相近时期,不代表较早记录都已证伪。原文“1400年前”与最小日期1400年不一致;筛选会改变结论适用的人群和时期。
探索先看范围再选时间窗提供相应独立卡片与原书证据。
ggplot以数据和美学映射为基础,再叠加几何图层、坐标尺度及主题。直方图把数值区间映射为频数,ggsave保存图对象。默认分箱也会影响形状,不能只调颜色就认为分析更准确;本书旧版本参数需另核验。
主题、轴标题与日期刻度负责展示。原例代码为10年刻度,正文又说5年,复现应明确所选尺度,不把两者说成同一设置。
图层把数据映射为视觉元素提供相应独立卡片与原书证据。
机器学习中的R基础 · 连续片段4
年月与州共同分组计数,再建立所有州—月份组合、按键合并并处理缺月;分面绘图让同尺度的地区序列可比较。
先用strftime(date,"%Y-%m")建立年月键,再用ddply(data, .(USState,YearMonth), nrow)对州—月份组统计记录行数。日、月、年的聚合回答不同问题;计数反映被记录的报告量,不自动表示事件率或人口标准化发生率。
分组汇总先定统计单位提供相应独立卡片与原书证据。
分组计数只包含有记录的组。可先构造所有州—月份组合,再按键与统计结果全连接;只有缺行确实代表零报告时才把NA改0。如果缺行可能是采集缺失,补零会伪造低谷。日期也应由连接后的年月键还原,不能依赖未经核对的行排序套用重复日期向量。
补零需要观测完备假设提供相应独立卡片与原书证据。
按州分面,将每个州的年月序列置于独立面板,保留一致的坐标范围,便于比较峰谷和趋势。把50条线堆在同图常会互相遮挡。分面改善可读性,但若人口和报告渠道不同,报告数仍不是各州风险的公平排名。
分面图让同类序列可比较提供相应独立卡片与原书证据。
机器学习中的R基础 · 连续片段5
主题、标签和日期尺度改善可读性;图中若干州有稳定波动或突增,只形成后续待验证问题,不能据报告周期判定外星活动。
分面图中的周期、峰值和同步变化可以提出解释假说,例如报告意愿或共同外部事件。图只显示记录的结构,不能在尚未排除采样、季节和测量影响时证明因果,更不能把目击报告视作外星访客证据。后续要用独立数据或正式模型检验。
图中模式仍需独立验证提供相应独立卡片与原书证据。
图层把数据映射为视觉元素提供相应独立卡片与原书证据。
深入学习R的参考书目
R基础案例只覆盖加载、清洗、组织、分析的一条路径,表1-3给出更完整的语言和数据操作参考。
第2章 数据分析
探索性数据分析用数值和图形认识变量。先确认观测单位、列类型、编码和含义,再用位置、散布、分位数与密度检查分布,用散点和分组了解联合关系。摘要、降维和预测服务不同目的。图形中的峰与趋势是候选模式,只有独立数据或明确定义的检验才能支持进一步结论;原书柯西矩、正态尺度和置信带解释的错误在对应位置限定。
第2章 数据分析
先探索提出模式,再以新数据或概率检验防止把随机巧合当规律;本章专注摘要与图形,不把探索结果当验证。
探索或训练时见过的数据可帮助选择模型,却不能再充当独立泛化证据。应把提出模式与验证模式分开,用另一批未参与选择的数据评估;反复根据测试结果改模型也会削弱独立性。概率检验则用明确假设衡量原数据模式是否可能只是巧合。
训练测试拆分提供相应独立卡片与原书证据。
原书依据 · 1 处
什么是数据
以行为观测、列为属性建立数据方块,再区分逐列统计摘要、相关性摘要和保留每行的降维;数据来源决定可解释范围。
统计摘要沿观测行压缩,例如每列一个均值,得到变量的总体特征;降维沿特征列压缩,为每条观测保留更少的新坐标。前者可以不再区分个体,后者仍服务逐行表达。原图2-4标题误写相关性分析,按正文及M×N→M×1的形状理解为降维。
统计摘要与降维方向不同提供相应独立卡片与原书证据。
数据表能方便计算,却不会自动说明样本如何产生、是否代表研究总体。观察记录中的相关模式不能单凭表格推出因果;实验设计和背景信息影响可作出的判断。把数据暂时当矩形是建模简化,不是消除采样与测量问题。
数据来源限定解释范围提供相应独立卡片与原书证据。
推断数据的类型
先检查numeric/character/factor,再区分定性标签与0/1或±1编码;相同语义可有不同表示,算法输入必须约定一致。
用0/1表达定性类别时,应明确1代表什么、0代表什么。因子、字符串、0/1及−1/+1可以表示同一分类,但不能在训练和预测之间任意替换。内部因子水平编号不等于标签原有数值;glm等接口还受family与响应形式约定,不能泛称任何调用都要求同一编码。
虚拟编码须约定正类含义提供相应独立卡片与原书证据。
is.numeric、is.character、is.factor检查实际存储类型,再决定算法所需表示。把因子直接当数值可能得到水平编号而非标签的数字;先核对标签及编码再转换。表2-3讨论的是向量或因子类型,不表示R多数函数只能处理标量。
R类型检查先于强制转换提供相应独立卡片与原书证据。
因子标签不是连续数值提供相应独立卡片与原书证据。
推断数据的含义
知道数值类型仍不等于知道列语义;行代表谁、单位和类别含义需由数据字典补充。
无标签的0/1、身高、体重数列,需要说明一行代表谁、类别编码与英寸或磅等单位,才有可解释含义。类型检查不能恢复这些语义;图形或搜索只能提出猜测,来源资料无法确认时应保留未知,而非以直觉代替数据字典。
数据字典解释观测与单位提供相应独立卡片与原书证据。
原书依据 · 1 处
数值摘要表
summary展示最小值、两四分位、中位数、均值和最大值;它是快速认识数值列的起点,不包含所有分布特征。
数值向量的summary可快速给出最小值、第一四分位、中位数、均值、第三四分位与最大值。用它先检查范围和位置,再补标准差与可视化。摘要压缩会丢掉形状、混合群体和局部异常信息,不能用六个数证明数据服从某分布。
数值摘要提供分布初览提供相应独立卡片与原书证据。
原书依据 · 1 处
均值、中位数、众数
均值累加后除长度,中位数排序后取中间位置;离群值对两者影响不同。众数处理最常见值,连续数据宜通过密度描述峰。
均值为总和除以数量,中位数由排序位置决定,偶数个观测取中间两项的平均。例[0,0,100]的均值约33.3,中位数为0,显示极端值会牵动均值而不一定移动中位位置。二者接近只说明中心相近,不能单独证明对称或正态。
均值与中位数反映不同中心提供相应独立卡片与原书证据。
离散样本的众数是出现次数最多的值,可能并列;连续测量常无重复数值,通常转而观察直方图或估计密度的峰。图上峰的位置取决于分箱或平滑方法,不是精确重复计数。不要把R的mode对象类型查询当作统计众数计算。
众数与密度峰需区分提供相应独立卡片与原书证据。
分位数
分位数以累积位置刻画中心和尾部,客服响应时延的高分位回答均值无法覆盖的问题。
p分位数描述累积分布达到p附近的位置;quantile(x,probs=...)可指定所需概率。p99响应时延比均值更能暴露慢尾。有限样本可能插值且有并列值,不能严格说恰有p比例观测小于结果;比较前还要一致地约定计算方法。
分位数刻画尾部位置提供相应独立卡片与原书证据。
原书依据 · 1 处
标准差和方差
极差只依赖两端点;分位区间看中部数据,样本方差以n−1修正,标准差开平方恢复单位,但不保证特定覆盖率。
最小值和最大值限定全范围,却不描述中间观测怎样集中。固定两端而改变其余大量数据,极差不变;用四分位区间等补看多数观测,并注意异常值。两端一定是异常值也不是普遍结论,极差仍可用于描述已观察范围。
极差不能代表内部散布提供相应独立卡片与原书证据。
偏差平方和除以n可描述当前数据的平均平方偏离;从样本估计总体方差时,常除以n−1以修正估计均值消耗的自由度。R的var采用后一约定,要求足够有效观测。两者差异首先是定义选择,不能一概归咎浮点误差。
样本方差区分分母约定提供相应独立卡片与原书证据。
方差的单位是原变量单位的平方,标准差取其平方根,便于与原尺度比较。均值±一标准差不是必在样本极值内,也不保证覆盖50%;原文从四分位区间与标准差区间相近作的推论不充分。覆盖比例须用分布条件或实际计数验证。
标准差恢复单位不定覆盖率提供相应独立卡片与原书证据。
可视化分析数据 · 连续片段1
直方图随分箱变化可能过平滑或欠平滑,密度图也有带宽选择;按类别分组可揭示混合结构,再引入正态的中心、宽度及峰的数量。
直方图按区间统计频数。区间太宽会抹掉局部结构,太窄则可能突出采样噪声;同一份身高数据在1、5和0.001英寸分箱下形状明显不同。需要比较多个合理尺度,而不能把某一个图的峰谷直接当作稳定事实。
分箱宽度会改变可见模式提供相应独立卡片与原书证据。
核密度估计把样本附近的贡献叠加为连续密度曲线,便于观察峰与尾部。它没有消除平滑选择:带宽太大合并峰,太小产生噪声峰。曲线更美观不证明统计估计更可靠;用geom_density()也应结合分组与尺度检查。
核密度估计仍需选平滑尺度提供相应独立卡片与原书证据。
总体分布可由不同群体的分布混合而成;身高总体顶部较平,按性别分组后出现不同中心的曲线。一个峰不等于只有一个群体,多个组分也不必产生同样数量的可见峰。分组字段须有实际意义,不靠任意切分制造故事。
混合群体可能隐藏多个峰提供相应独立卡片与原书证据。
正态分布对称且单峰,均值、中位数和众数重合;均值控制位置,标准差控制尺度。rnorm(n,m,s)中的s是标准差,不能照图注把它当方差。钟形也不是正态分布的充分条件,样本密度近似钟形还需进一步核验。
正态形状由位置与尺度决定提供相应独立卡片与原书证据。
单峰、双峰和多峰按密度峰的数量描述形状;对称或偏态则描述两侧是否平衡。它们是不同维度,单峰也可能偏态,多个峰也可整体对称。经验曲线的峰还受平滑尺度影响,不应将每个小波动都命名为独立群体。
偏态关注长尾方向;右偏时均值和中位数可能明显分离。尾部厚度又是另一维度,不能只靠中心附近的对称钟形判断极端值行为。
峰数与偏态是不同特征提供相应独立卡片与原书证据。
可视化分析数据 · 连续片段2
对称性、偏态和尾部厚度分别描述不同形状。正态与柯西虽然都可钟形却极端值行为不同;正值的伽玛及指数用于认识偏态而非凭图认定分布。
柯西分布可对称单峰,却比正态更容易产生远离中心的值。其总体均值和方差并不存在,因而原文用“柯西均值的若干标准差”比较覆盖率不成立;应以位置和尺度参数谈距离。中心图形相似,不代表均值估计和极端值风险相似。
柯西重尾不能用标准差刻画提供相应独立卡片与原书证据。
伽玛分布可描述正值右偏数据,形状随参数变化;指数分布在非负轴上递减,是常见等待时间模型。非负且零附近频数高只提供候选线索,不足以确认指数规律;呼叫间隔和游戏得分的形似也不能代替拟合与假设检验。
正值偏态分布各有约束提供相应独立卡片与原书证据。
峰数与偏态是不同特征提供相应独立卡片与原书证据。
列相关的可视化
散点图展示数值列的关系,平滑线表达条件趋势,按第三类标签着色引出分类任务和决策边界;原例边界系数顺序需按实际坐标解方程。
回归的输出是数值,如用身高预测体重;分类的输出是类别,如用文本特征预测邮件是否垃圾。两者可用相同输入,但损失、评估与结果解释不同。图中两群体能帮助提出分类方法,不能直接把训练图中的分离程度当泛化准确率。
回归预测数值分类预测标签提供相应独立卡片与原书证据。
散点图保留观测点的联合结构,叠加平滑线可观察条件趋势,按类别着色可发现混合群体。平滑线周围的默认带是拟合趋势的不确定性表达,不能当作个体体重预测范围;数据增加可能缩窄趋势估计的带,却不消除个体波动。
散点趋势与不确定性分开提供相应独立卡片与原书证据。
逻辑回归以线性分数b0+bH×Height+bW×Weight经链接函数给出分类概率。若以Height为横轴、Weight为纵轴,0.5边界应解为Weight=−b0/bW−(bH/bW)Height(bW非零)。原例绘图交换了系数分母,不能直接复制;92%也是原样本描述,非本轮实测。
决策边界按坐标解方程提供相应独立卡片与原书证据。
第3章 分类:垃圾过滤
文本分类把邮件正文转成词项统计,再以各类别的词项出现率组合成比较评分。训练/测试分离、难正常邮件组、未知词处理和先验共同决定表现。混淆表要区分误删正常与漏过垃圾的代价。简易乘积没有归一化且可能下溢,不能把它当成已校准后验;调整先验改变边界,并不免费提高所有指标。
第3章 分类:垃圾过滤
二分类由标签和可测量特征组成,决策边界可有多条;邮件文本先变词频,图中重叠点可抖动展示,但两个HTML词不足以稳健分类。
标签是要预测的类别,特征是预测时能获得的输入。决策边界把特征空间划分为类别区域,未必是一条直线,也不必只有一条边界。特征变换可帮助表达复杂区域,但“核方法几乎无成本”不能作为一般复杂度保证。
标签特征与边界分担职责提供相应独立卡片与原书证据。
把邮件正文中的词项出现次数转换为数值特征,使定性文本可交给分类模型。html/table在两类邮件中的频次有差异,但难分类正常邮件也可含HTML。需要更丰富特征和独立测试,不能看到某个垃圾特征就确定类别。
词频把文本变为可比较输入提供相应独立卡片与原书证据。
离散计数常有许多重合坐标,可在绘图时加小幅随机扰动展示点的密集程度。抖动是显示手段,不是为模型增加新观测,也不改变词频证据;扰动幅度过大还会误导对取值范围的判断。
抖动仅改善重叠点显示提供相应独立卡片与原书证据。
漫谈条件概率
条件概率描述给定条件后的事件概率,邮件分类比较各类别下文本的似然,再结合先验;朴素假设用于组合多个词项证据。
条件概率是在给定条件下事件的概率。朴素贝叶斯比较类别先验P©与文本似然P(words|C)的组合,不能把P(words|C)直接当P(C|words)。朴素近似要求给定类别后词项特征条件独立,现实中通常不完全成立;重复相关证据可能放大确信程度。
条件概率分类提供相应独立卡片与原书证据。
先验表示看具体邮件内容前对类别频率的认识;同一词项证据在不同基率下可能产生不同判断。原书以垃圾邮件更常见作背景,不是当前所有邮箱的事实。先验与阈值应配合目标分布和误判代价,不能仅凭一个常见词下结论。
先验反映分类前的类别基率提供相应独立卡片与原书证据。
试写第一个贝叶斯垃圾分类器 · 连续片段1
公开语料按易正常、难正常和垃圾分组并分开训练测试;按首个空行抽正文,只为此次正文分类服务,不宣称邮件头没有价值。
原始邮件以首个空行分隔头部和正文。案例只取正文做文本分类,头部里来源和伪造痕迹仍可能有用。读取文件后应确认分隔位置、编码和内容形式;这种简化不是完整MIME解析器,不能把多部分或附件结构都当普通纯文本。
邮件正文抽取限定协议范围提供相应独立卡片与原书证据。
难识别正常邮件可能含HTML或促销词,看起来像垃圾邮件。把easy ham与hard ham分别测试,能发现模型是否依赖过于简单的词项捷径。正常邮件与垃圾邮件应使用独立训练、测试集合;易负例上高分不代表真实收件箱可靠。
难负例检验特征捷径提供相应独立卡片与原书证据。
试写第一个贝叶斯垃圾分类器 · 连续片段2
读取邮件正文后构建语料库和词项—文档矩阵;词频、词占比与出现文档比例是三个不同统计量,分类器使用最后一个。
TDM以词项为行、文档为列,每格是该词在该文档中的次数。它把语料变成统一特征空间,便于逐词或逐文档统计。停用词、标点、数字和最低文档频率的筛选会改变词表;训练与预测应使用一致规则,不能把文档频率误作单篇词频。
词项文档矩阵保留文本计数提供相应独立卡片与原书证据。
总词频统计一个词在全语料出现多少次;归一词占比除以所有词次数;文档出现率则统计含该词的文档数除以文档总数。一个邮件重复table很多次可推高总词频,但只增加一次文档出现。选择统计量会改变模型强调的证据。
词频与文档出现率含义不同提供相应独立卡片与原书证据。
按文件路径读取正文,过滤cmds等辅助文件,再用sapply收集文本,保留邮件名与内容的对应。readLines后应关闭连接,异常路径也需保证释放;原例latin1只描述该语料处理策略,不表示所有邮件都采用此编码。
邮件语料批量读取保留标识提供相应独立卡片与原书证据。
试写第一个贝叶斯垃圾分类器 · 连续片段3
从类内文档出现率建立词项证据,初始仅用各500封训练;未知词若置零会令乘积归零,因此用小正数和可调先验计算评分。
若把训练中未观察到的词直接赋概率0,多词似然乘积会因一个未知词变成0。案例用小正数c=1e−6替代未知词,并对未知词数取幂。它避免立即归零,但不是通用校准或标准加一平滑;c大小会影响分类结果,必须结合数据验证。
未知词零概率会压垮乘积提供相应独立卡片与原书证据。
案例按先验乘以已出现词的类内出现率,再乘未知词惩罚,比较spam与ham两个分数。它没有做跨类别归一化,也没完整纳入未出现词的伯努利项,因此更应称分类评分。不能把某个极小乘积直接解释成邮件属于该类的校准概率。
评分连乘可在浮点中下溢为0,后续log-log绘图并不能恢复已丢失的信息。实现可在对数域累加并保留明确的平滑与空词表规则,这是数值改进方向,不是本轮已运行的修复。
朴素乘积分数不是后验概率提供相应独立卡片与原书证据。
案例起初各取500封,配合0.5⁄0.5先验,便于演示。类别条件词率可各自在类内估计,先验另表示目标类别基率;不必为了指定先验而机械丢弃多数类样本。训练分布和部署分布不一致时要明确二者区别。
训练类别数与先验可分别指定提供相应独立卡片与原书证据。
试写第一个贝叶斯垃圾分类器 · 连续片段4
两类评分分别计算并比较,hardham测试中65/249误判约26%,说明难负例是关键;这是历史语料表现而非本轮运行结果。
把不易识别的正常邮件独立作为测试组,原例184封正确、65封误判,误判比例约26%。这说明只用易正常邮件学习的特征覆盖不足,不能以“简易模型还不错”代替产品要求;实际风险还取决于把正常邮件丢弃的代价。
分组误判暴露训练覆盖不足提供相应独立卡片与原书证据。
朴素乘积分数不是后验概率提供相应独立卡片与原书证据。
用所有邮件类型测试分类器
测试第二套三类邮件,混淆表按真实类别看误判/漏判;log-log评分散点与y=x分界揭示错误群体,不能以少数输出判断全局表现。
以真实邮件类型为行、预测正常/垃圾为列,分别计算正常邮件被误删与垃圾邮件漏过的比例。原表还区分easy/hard ham,行内比例不应误读成预测类精确率;总体准确率会受类别比例影响。评估前先约定正类、分母与误判成本。
混淆表按真实类别统计错误提供相应独立卡片与原书证据。
两个非负分类评分跨越许多数量级时,可用log-log坐标查看相对大小,y=x仍是两分数相等的边界。取对数只能展示有效正值,无法修复先前乘积下溢的零,也不能把评分自动变成归一概率。边界两侧错误点要回看真实标签。
对数坐标只改变显示尺度提供相应独立卡片与原书证据。
效果改进
增加正常训练样本并调整先验降低误删但提高垃圾漏过,体现边界移动与目标取舍;前后变动同时包括训练数据与先验,不能纯因果归功一个参数。
把正常类先验提高,会使证据相近的邮件更倾向判正常,通常减少正常邮件误删,却可能放过更多垃圾。案例同时改先验与正常训练数据,不能仅把结果变化归因先验。80/20是书中情境假设,与前文“多数为垃圾”也不一致,部署需独立估计。
调整先验会移动分类取舍提供相应独立卡片与原书证据。
原书依据 · 1 处
第4章 排序:智能收件箱
排序回答同类对象应先看谁。真实智能收件箱可学习用户查看后的行为,但本案例仅有静态收件文本,只能以发件频次、线程活动及词项熟悉度作代理。解析日期与字段、按时间拆分、在训练窗口建立权重再匹配新邮件,是它的处理链。对数尺度、乘积中性值和中位数阈值都是可检验假设;图形重尾、线程聚合和新线程入选不能代替用户反馈。原书日期和查表代码的明显冲突已注明。
第4章 排序:智能收件箱
排序要在类别内部区分优先级,推荐结合对象属性和用户行为;监督学习有目标输出,无监督学习发现结构,排序未必总有现成标签。
分类决定对象属于哪个类别;排序为候选对象给出相对先后,如把更需要处理的正常邮件放前面。推荐可利用物品属性及用户行为生成个性化顺序。必须说明优先级依据,不能把任何分类概率都当作业务重要性。
排序目标不同于类别判定提供相应独立卡片与原书证据。
监督学习用输入及相应目标学习映射;无监督学习缺少这类目标,主要寻找相似群体或简化结构。是否监督取决于训练信息,不由使用排序或聚类这个词决定。只有启发式权重而没有用户反应标签的排序原型,不能冒称已学习真实偏好。
监督学习依赖已知目标提供相应独立卡片与原书证据。
按优先级给邮件排序 · 连续片段1
优先级以查看邮件后的行为及时间窗定义;详尽日志可用社交/内容/线程/标签特征,静态公开收件语料只能用单向接收和线程活跃代理,存在明确的不可验证缺口。
把邮件重要性操作化为用户看到邮件后,在指定时间内阅读、回复或标记的概率。服务器收信时刻不同于用户看到的时刻。不同用户、行为和窗口会给出不同排序目标,响应快也只是一种重要性代理,不是邮件价值的唯一标准。
优先级须定义行为与时间窗提供相应独立卡片与原书证据。
只观察收到的邮件,可用发件人来信量近似社交联系,却不知道用户是否回复或认为重要。高频可能来自亲密往来,也可能是大型邮件列表;应结合其他特征并保留代理失真的风险。缺乏行为日志会限制验证,不能如原文结尾暗示的那样对结论毫无影响。
收件量只是社交联系代理提供相应独立卡片与原书证据。
社交特征看双方交互,内容特征看近期主题/正文,线程特征看会话活动,标签特征看用户标记。静态语料缺少已读、回复和移动行为,只能实现其中部分代理。先列能直接观测、只能估计和完全缺失的字段,再决定模型范围。
本案例四路实际权重是发件量、线程活跃、主题词及正文词;与完整产品特征分组并非一一覆盖,图4-1把缺失的用户阅读行为明确标出。
邮件优先特征分开取证提供相应独立卡片与原书证据。
实现一个智能收件箱 · 连续片段1
解析器把每封邮件变为日期/发件人/主题/正文/路径的一行,通过辅助函数抽取各字段;保留原路径方便回溯,正则模式需受头部边界约束。
把每封邮件转成固定字段的一行,并保留源路径,再以列表映射和按行绑定形成数据框。各辅助解析器必须返回约定长度,缺失值要显式表示;行向量看似矩形不证明字段正确。保留路径可在排序错误时返回原始记录核对。
半结构化解析先固定行契约提供相应独立卡片与原书证据。
匹配From或Subject时,应先限定邮件头,再识别字段名、折行和地址形式。原例在所有行中搜索From:并拆分标点,只取含@的首项,大小写、正文仿造行和复杂地址都可能破坏假设。它是特定语料练习,不是完整邮件解析实现。
邮件头匹配需限制字段边界提供相应独立卡片与原书证据。
实现一个智能收件箱 · 连续片段2
主题缺失可返回空串,但日期涉及多匹配和格式、时区差异;原例的逻辑索引和冒号拆分会误抽字段,丢时区还影响时间排序。
没有Subject字段时返回空串能维持固定长度,但“缺字段”与“有字段且为空”可能有不同含义。grepl本身返回与输入等长的逻辑向量,筛选后结果才可能为零长;不能把原文对匹配函数的泛称当成每个函数的准确返回契约。
解析缺失值不能等同空内容提供相应独立卡片与原书证据。
原例计算which(date.grep)后却用date.grep[1]索引,取到的是单个逻辑值,不能定位首个日期行。再按冒号拆开会破坏时分秒,删时区则可能改变跨地区先后。应保留原时间与偏移并按约定解析,失败显式NA,再核验排序;本轮只记录问题,未运行修复。
日期抽取不能丢索引与时区提供相应独立卡片与原书证据。
实现一个智能收件箱 · 连续片段3
日期按两个模式解析并以第二结果补第一结果的NA,再规范文本、按时间排序和前后拆分,避免未来观测进入过去训练。
对日期候选分别应用已知格式,只有首格式失败的位置才用后格式补充,仍失败的值要保持NA并单独检查。格式命中不代表已正确处理语言环境或时区;不能从语料示例推断现实只有两种格式。
多格式日期解析保留失败信息提供相应独立卡片与原书证据。
先按规范化时间排序,再以前半训练、后半测试,使评估更接近根据过去对新邮件排序。词表、权重和阈值也应只从训练窗口学习;仅把行分成两半却预先用全量统计,仍会泄漏未来信息。时间解析正确是这种拆分有效的前提。
时间拆分模拟向未来预测提供相应独立卡片与原书证据。
设计用于排序的权重计算策略
来信量长尾使原始计数尺度悬殊,log(Freq+1)压缩高频并避免单次来信权重为零;不同对数底只是常数缩放,不能以自然螺旋证明效果。
对正频次使用log(Freq+1),高计数间差距会压缩,且Freq=1不会变成零,适合后续相乘权重。Freq=0时log1p仍为零,不保证任何输入都严格正。加1改变低计数的相对尺度,必须将它作为建模选择,而非宣称不影响结果。
对数权重压缩大计数差异提供相应独立卡片与原书证据。
对同一正输入,log10(x)=ln(x)/ln(10),两者保持相同排序,区别是整体常数尺度。不能仅因数值更小就断言log10保留更少信息;若把多个特征组合或设阈值,仍需统一考虑尺度。自然界的螺旋例子不能证明邮件权重应采用某底数。
换对数底只作常数缩放提供相应独立卡片与原书证据。
邮件线程活跃度的权重计算 · 连续片段1
线程通过规范主题近似识别,统计发件人参与频次和线程频次/时间跨度;边界截断与同时间戳会影响活跃度,不能把代理当真实回复速度。
案例从以re:开头的主题提取原主题,以共同主题聚合邮件。它不使用正式线程ID,同名独立话题、重复前缀或语言差异都可能误合并或漏分。主题相同只是会话代理,后续活跃权重需继承这层不确定性。
主题匹配只能近似识别线程提供相应独立卡片与原书证据。
用线程内邮件数除以最大与最小时间戳差,估计观察窗口中的活跃度。单封线程无法用此方式估计跨度,案例剔除;多封同时间戳也可能除零。窗口外活动不可见,所得是截断样本统计,不是收件人回复耗时或整段会话的真实到达过程。
线程到达率受时间窗口约束提供相应独立卡片与原书证据。
邮件线程活跃度的权重计算 · 连续片段2
对活跃度对数加常数平移,再将线程权重传给词项;正文词频另取log10,形成五张权重表,主观假设仍需验证。
案例将到达率r变为10+log10®,在当时样本上得到正值。一般只有r>10^−10才严格为正,零、负值或无限值仍需单独处理。加常数会改变与其他权重相乘的效果,不是对任意数据都安全的正值保证。
平移对数不保证所有权重为正提供相应独立卡片与原书证据。
取包含某词的历史线程权重均值,让新主题可借共享词获得权重;正文再用全训练语料的词频对数作为熟悉度。它把“与过去活跃/已见内容相似”当重要性代理,不是从真实重要性标签学习。词项子串匹配还可能合并不同词,应检查分词边界。
词项权重把历史活跃迁移到新主题提供相应独立卡片与原书证据。
训练和测试排序算法 · 连续片段1
新邮件从五张表取权重并相乘,以1作为缺特征中性值;get.weights所展示代码与文字规则冲突,必须核验映射索引与空集合。
把发件量、线程参与、活跃度、主题及正文词权重相乘形成排序分数。缺特征时用1可避免将整体归零,但等于选择“不奖不罚”的业务假设;相关特征重复计算可能放大相同证据。评分不是概率,也不保证没有并列。
相乘排序需定义缺特征中性值提供相应独立卡片与原书证据。
match返回目标表中的位置;取对应权重应使用这些非NA位置的值,而非which返回的输入位置。原get.weights还在匹配数大于1时返回1,与文字“无匹配返回1、有匹配取均值”相反,空匹配可能产生NaN。应分别检验空、单个、多个和乱序匹配。
权重查找须使用匹配值索引提供相应独立卡片与原书证据。
训练和测试排序算法 · 连续片段2
中位数阈值标记训练分数以上的一半左右,训练测试密度不同只说明分布变化;没有用户重要性反馈,无法证实排序真正好。
以训练分数中位数作阈值,大致选择高于典型值的一半;有并列且用≥时可能更多。重尾只说明分数分布,并不能证明排序准确。中位数和标准差本来描述不同统计量,直接拿标准差当分数阈值也只是另一个启发式规则。
中位数阈值不等于少数重要项提供相应独立卡片与原书证据。
历史结果中的同线程分组、高频发件人靠前、新线程入选,能检查实现是否符合预设规则,却不能证明符合用户真实重要性。训练/测试分数密度差异也不是准确率;需要真实标签、行为反馈或受控评价才可比较排序质量。原书14%延续线程仅是结果组成。
无反馈排序只能验结构与假设提供相应独立卡片与原书证据。
第5章 回归模型:预测网页访问量
回归预测有数值意义的输出。先以训练均值作为平方损失基准,再加入二元或连续特征,明确可加与线性参数假设,观察系数和残差。网站访问量案例说明对数尺度和因子编码如何改变解释;相关、显著性和训练拟合优度不等于因果或未来预测能力。R²、RMSE与残差标准误有不同定义,必须先统一评估样本与分母再比较。
第5章 回归模型:预测网页访问量
回归预测数值输出,平方误差损失下常数基准为训练均值;虚构寿命案例用候选常数的误差曲线说明最优点,不作健康判断。
若必须对所有对象给出同一常数,最小化当前样本平方误差的常数是样本均值。它给复杂模型提供起点:额外特征应在相同验证条件下优于这个基准。73只是72.723的取整及整数候选最优,不是连续意义上的精确最优;换损失函数也可能换最优常数。
均值基准依赖平方误差损失提供相应独立卡片与原书证据。
单点平方误差为(y−h)²,MSE对各点取平均,较大偏差会受到更强惩罚。其单位是输出单位的平方,不能把它直接理解成平均绝对偏差。使用书中虚构寿命数据仅演示损失计算,不推出医疗或个体寿命预测。
均方误差平均平方残差提供相应独立卡片与原书证据。
使用虚拟变量的回归模型
用虚拟变量把样本分组,各组均值可改善训练平方误差;RMSE还原输出单位,附加信息是否有泛化收益仍需测试。
对0/1类别可分别计算训练组均值,再按输入类别选择相应预测。相当于用一项二元信息修正常数基准;样本内损失不增加并不证明新样本一定改善。书中约10%误差下降来自虚构数据,不能当作真实吸烟效应或通用收益。
虚拟变量允许分组均值预测提供相应独立卡片与原书证据。
RMSE=√mean((y−ŷ)²),与预测目标同单位,便于解释误差量级。它仍更重视大误差,也不是平均绝对误差。比较时须使用同一数据、相同目标尺度与划分;训练RMSE较小不能单独证明模型泛化更好。
误差平方和随新增非零误差累加,样本数不同的模型比较宜先统一测试集,再选MSE/RMSE。不能由平均有符号误差为5推断MSE为25,平方与平均不交换。
均方根误差恢复输出尺度提供相应独立卡片与原书证据。
线性回归简介 · 连续片段1
可加性和原始输入线性关系给简单模型起点,lm公式明确预测方向;系数表达条件关系,残差和外推检查限制模型解释。
基础线性模型把各输入贡献相加,意味着某特征效应在其他条件下保持同样斜率。若两项同时出现时效应额外变化,就需显式交互项或其他表示。例中的健康数值是假设演示,不能把可加模型视作现实因果规律。
可加效应不包含交互作用提供相应独立卡片与原书证据。
对一个原始输入,直线表示每单位变化的预测增量相同;单调只要求方向一致,斜率可变。带特征变换的线性参数模型又可描述原始输入曲线,因此不能泛称任何线性回归都只会画原坐标直线。
线性斜率比单调性更强提供相应独立卡片与原书证据。
lm(Weight~Height, data=...)以身高为输入、体重为响应,coef给截距和斜率,predict按同一变量含义产生预测。反向回归不是简单取倒数。显式data减少隐式全局数据依赖;正文Hight拼写与代码Height不一致,复现以真实列名为准。
回归公式必须明确预测方向提供相应独立卡片与原书证据。
身高体重拟合中的斜率描述样本条件关系,不证明身高变化会因果导致体重改变。截距仅是直线参数,原例为−350.7,正文漏掉负号;把它解释成零身高的人重350磅有误。训练范围外可能给负体重,应限制适用范围。
系数关系不能越界外推提供相应独立卡片与原书证据。
残差是真值减预测值。检查残差与拟合值的关系,若出现弯曲等系统形状,可能是表示或模型不充分;没有明显形状也不等于证明残差纯噪声。书中plot(…,which=1)是残差对拟合值图,不是任意真实输入对残差。
残差结构提示模型未捕捉信号提供相应独立卡片与原书证据。
线性回归简介 · 连续片段2
误差平方和受样本量影响,MSE按数目平均,RMSE开方;R²应与同一数据均值基准比较平方误差,原文RMSE比未平方存在公式错误。
对同一评估集,R²=1−SSE模型/SSE均值基准;若两者RMSE按相同n计算,则R²=1−(RMSE模型/RMSE基准)²。原文省略平方算出的0.12595不是该定义R²。测试集或不含截距模型的R²可以为负,不能保证总在0到1。
R平方比较的是平方误差提供相应独立卡片与原书证据。
均方根误差恢复输出尺度提供相应独立卡片与原书证据。
预测网页流量 · 连续片段1
网站访问量与独立访客为计量,排名仅为次序;偏态经对数后关系更易观察,多变量控制仍不排除遗漏变量和因果方向不明。
Rank只表示网站先后顺序,名次间隔不意味着相同流量差距,替换成有序标签仍保留次序信息。PageViews是访问次数,UniqueVisitors是不同访客数,两者统计对象和时间窗须分别核对,不能直接把名次当连续流量或把重复访问当新访客。
序数排名不等于等距计量提供相应独立卡片与原书证据。
正值流量分布跨度很大时,对PageViews和UniqueVisitors取对数可压缩尺度,便于观察与拟合乘法型关系。模型残差和RMSE此时都在对数尺度,不能当作原始访问次数误差。反变换预测均值还需考虑误差分布;零值要另定规则,原文logp应辨明为log1p等接口。
对数回归改变误差解释尺度提供相应独立卡片与原书证据。
加入广告、语言、访客量只能在已纳入变量及模型假设下比较条件关联。若遗漏关键因素,系数仍可能误导;网站语言与流行程度的因果方向也不能从回归本身决定。样本是2011年前千网站,不能泛化成当前所有网站规律。
回归控制不能自动消除混杂提供相应独立卡片与原书证据。
预测网页流量 · 连续片段2
summary包含系数估计及标准误、t/p、残差标准误和拟合优度。推断依赖模型假设,训练显著性不替代未知数据预测;残差标准误与RMSE分母不同。
系数估计的标准误反映重复采样下估计量波动,并不等同于原变量标准差。置信区间的覆盖率描述构造区间的程序,不是说已固定参数以95%概率落在这个固定区间。小标准误依赖数据与模型假设,不能消除遗漏变量偏差。
系数标准误描述估计不确定性提供相应独立卡片与原书证据。
t统计量是估计值与假设值差除以标准误;p值在零假设与模型条件下衡量至少同样极端结果的概率,不是零假设为真的概率。训练关联显著不证明因果,也不保证未知样本预测好;星号和“两倍标准误”仅是约定性线索。
显著性不等于预测或因果提供相应独立卡片与原书证据。
训练RMSE=√(SSE/n),线性模型残差标准误通常为√(SSE/(n−p)),p为估计参数秩。只有参数占比很小时才数值接近,不能如原文直接说二者相同。比较自由度、R²和调整R²有助于识别拟合复杂度,但仍要独立验证。
残差标准误与RMSE分母不同提供相应独立卡片与原书证据。
预测网页流量 · 连续片段3
因子在设计矩阵中以基准水平编码,单输入R²可比较条件下的训练解释度;原文NA作为默认因子水平须区分真实缺失与字符串类别。
有截距回归常选一个因子水平纳入基准,其他水平系数表示相对于该基准的调整。真实缺失NA并不会自动成为可估计类别,须区分文本”NA”水平和实际缺失及na.action。原文对语言变量的说法不足以推定默认缺失处理;读取与设计矩阵要先核对。
因子系数相对基准水平解释提供相应独立卡片与原书证据。
分别拟合输入可初看解释度,再评估它在组合模型和未知样本上的增量收益。网站案例中广告、语言的单变量训练R²较低,不等于其在所有任务中无用;难采集字段若增益很小,可考虑不纳入,决策还需数据可得性与稳定性。
输入收益须与获取成本比较提供相应独立卡片与原书证据。
定义相关性
Pearson相关系数衡量线性关联方向和强度,标准化后简单回归斜率与其对应;近零不等于无非线性关系,更不说明因果。
Pearson相关在−1到1之间描述线性共同变化。对同样完整的非零方差配对样本分别中心化并标准化后,带截距的一元回归斜率等于相关系数。零相关不排除非线性依赖,高相关也不证明因果;原例x²在正区间相关很高,却不是完全线性。
相关系数只刻画线性关联提供相应独立卡片与原书证据。
原书依据 · 1 处
第6章 正则化:文本回归
复杂表示能把弯曲关系转成可拟合的特征,但训练拟合越好不代表泛化越好。正交多项式改善数值表示,保留验证比较复杂度,正则化在损失与参数惩罚之间取舍。超参数选择必须在训练之外,预测又必须复用训练特征变换。文本排名案例的失败提醒数据未必含答案;改成二分类是改变目标,不能绕过公平基准与独立评估。
第6章 正则化:文本回归 · 连续片段1
对原始输入做平方或多项式变换,可在参数线性的模型中表达曲线;训练R²提升不保证复杂表示适合未来。
把x²、x³等变成新特征,再对系数做线性拟合,可在原坐标中表达曲线。模型对系数仍线性,对原输入不必单调。变换必须匹配任务结构,训练拟合提升也可能只是增加自由度;任意复杂关系并不保证能靠有限样本可靠学到。
本节还用广义加性模型(GAM)的平滑展示不预设原坐标直线的拟合;它在此仅作示范,没有展开完整理论。当前geom_smooth的默认方法还受版本及样本量影响,不保证总为GAM。
特征变换让线性参数表达曲线提供相应独立卡片与原书证据。
正弦数据在一个区间内用直线能取得约0.59训练R²,主要捕捉中部递减趋势,却遗漏两端上升。单一拟合优度不能说明模型形式正确,换范围后关系也可能失效;应结合残差、任务范围与独立验证。
训练高拟合仍可能漏掉结构提供相应独立卡片与原书证据。
第6章 正则化:文本回归 · 连续片段2
原始高次幂列可能高度相关并造成数值病态,poly使用正交基改善表示,但系数不是原始幂系数,也不解除数据约束。
直接加入高次幂列容易数值相关,估计可能病态。poly(X,degree=d)可生成相对训练观测正交的基,用于更稳定地拟合相同类型函数空间;其系数属于该基,不是x、x²的原始系数。次数仍受独特输入数与数值精度约束,不能承诺任意高阶都无问题。
正交多项式改善基的条件性提供相应独立卡片与原书证据。
第6章 正则化:文本回归 · 连续片段3
高阶曲线追随样本小波动,说明灵活性必须与数据量、噪声和验证安排配套;交叉验证与正则化分担评价和约束作用。
更高阶多项式可降低训练误差,却可能追随当前样本的小波动,损害新数据表现。曲线歪曲是警报而非唯一判据;不能仅从参数多或训练误差小就断言全部新样本都会失效。应使用保留数据评估,并通过适当约束控制复杂度。
过拟合是对样本噪声的追随提供相应独立卡片与原书证据。
避免过拟合的方法 · 连续片段1
把保留数据当模拟未来,比较不同多项式次数的训练/验证误差;欠拟合两者都差,过拟合可能出现两者分离,再引入系数范数作为复杂度代理。
模型太简单时,训练和验证都可能误差高;复杂度增加后训练误差继续下降而验证恶化,是过拟合信号。选型需看同一评估协议下的泛化表现,不能由单次曲线保证无过拟合。按验证集挑次数之后,该集不再是最终独立测试集。
欠拟合与过拟合看误差差距提供相应独立卡片与原书证据。
独立同分布样本可用随机保留减少系统性取值差异;时间预测应以前训练、以后验证,不能照搬随机拆分。保留集比例由样本量和目标决定,不是固定80/20规则。预处理也需在训练内学习,避免保留数据提前影响模型。
数据拆分要匹配未来情境提供相应独立卡片与原书证据。
系数平方和或绝对值和可作为复杂度代理,避免正负抵消。平方和是L2范数的平方,绝对值和是L1范数,范数本身不等同于完整正则化。相同函数换输入单位会改变系数大小,比较或惩罚前须统一尺度,并明确是否惩罚截距。
系数惩罚依赖特征尺度提供相应独立卡片与原书证据。
避免过拟合的方法 · 连续片段2
glmnet计算不同lambda路径,通过保留集选正则强度。稀疏解属于具体惩罚选择,标准化与多项式基都须由训练变换复用。
正则化在训练拟合损失之外加入参数约束或惩罚,以控制模型追随样本噪声的自由度。lambda通常调节惩罚强度,值越大约束越强;适当强度需用验证决定,不保证任何正则化都改善结果。L1常产生精确零系数,L2常收缩系数,二者不能混为一谈。
正则化提供相应独立卡片与原书证据。
一次glmnet拟合可得到一组lambda及对应系数;在训练外评估各候选,再选适合强度。模型参数由训练学得,lambda是控制过程的超参数。路径是有限候选序列,并非“所有可能结果”;训练误差仍可诊断,但不能独自选择泛化最佳强度。
正则路径用验证选择超参数提供相应独立卡片与原书证据。
正交poly基依赖用于构造它的样本。原例分别对training.X和test.X调用poly,再把测试基交给训练系数,会使坐标含义不一致。应保存训练基的变换参数,并用同一变换映射测试集;重训后的基和系数也要一起更新。仅行数、列数一致不足以保证输入契约相同。
预测必须复用训练特征变换提供相应独立卡片与原书证据。
稀疏模型把许多系数置零,能减少用于预测的输入;这只是在当前数据、惩罚与相关结构下的选择。相关特征之间可互相替代,零系数不能证明现实无作用。%Dev表示解释偏差比例,不能跨所有响应族都当作普通线性回归R²。
稀疏系数不证明特征无因果作用提供相应独立卡片与原书证据。
文本回归 · 连续片段1
文档词矩阵让词数多于文档数,正则化文本回归仍可能不优于常数;将目标改成前50类别是新任务,不能据此声称找到畅销因果词。
词项特征可能多于文档,普通拟合容易不稳定或过拟合,正则化可约束参数。书籍封底预测排名中,较强惩罚后的常数模型更好,说明当前表示与样本未提供可靠预测增益,而非证明所有文本都不含信息。更不能把高权词当成制造畅销的因果按钮。
高维文本仍可能没有预测信号提供相应独立卡片与原书证据。
多次训练/保留拆分可观察性能波动,但比较lambda时应尽量复用相同划分,避免划分难度混入参数差异。词表和预处理若用全数据拟合,也会引入未来信息。重复使用同一小语料不等于获得许多独立新样本,误差条须按相关性解释。
重复划分评估须公平配对提供相应独立卡片与原书证据。
二元逻辑回归对类别响应建模,以线性分数z经1/(1+exp(−z))转成概率,再按业务阈值分类。它与线性回归的损失、响应假设和链接不同,不只是最后加个阈值;二项响应可为0/1,不代表误差本身只能取0或1。
逻辑回归用链接函数输出概率提供相应独立卡片与原书证据。
文本回归 · 连续片段2
glmnet二项默认链接尺度可有正负,逆logit变概率,阈值0对应0.5。简化标签未获得充分泛化证据,代码循环和特征拟合仍要审核。
逻辑回归链接输出可为任意实数,z>0等价于逆logit概率>0.5。需要概率时应用逆链接或明确的response输出选项,再按误判代价选阈值;不能因看到负输出就说模型违反概率范围。原例展示的是链接尺度。
链接分数阈值对应概率阈值提供相应独立卡片与原书证据。
从预测1到100排名改为前50二分类,减少输出细节,但也改变任务、损失和业务含义。原图较低lambda误差接近0.5,不能仅凭均值略低就保证可靠优于基准。原循环内仍重复拟合,文本称无需为每个lambda拟合与代码不符;应固定划分后复用一条路径。
简化目标必须重新验证收益提供相应独立卡片与原书证据。
第7章 优化:密码破译
训练可以表述为参数搜索:明确目标、参数空间和可行约束,再选适配算法。网格搜索直观但规模随维数增长;连续平方与岭损失可用数值工具处理。替换密码展示离散双射状态、词典代理评分和随机候选,Metropolis允许有限概率退步以探索。但收敛码、评分上升或更常见单词都不保证真实任务成功,目标与评价必须分开核验。
第7章 优化:密码破译 · 连续片段1
把拟合转为选择参数并最小化目标,网格逐项计算随维数爆炸;optim接受初值和目标函数并返回参数、值、计数和收敛信息。
先定义可调参数及评价函数,再寻找使其最小或最大的参数。在线性回归中,可把截距和斜率打包,目标为残差平方和。固定n时SSE、MSE及其平方根有相同最优点,但目标单位和优化尺度不同;正负残差直接相加不适合作误差损失。
目标函数把拟合变为优化提供相应独立卡片与原书证据。
每维m个候选、d个参数,需要评估m^d个组合。它只保证所列有限网格内最佳,不保证连续全局最优;范围和步长要权衡计算成本。原文10个变量各100候选应为100^10=10^20,并非10^100,维度增长结论仍成立。
网格规模随参数维数相乘提供相应独立卡片与原书证据。
optim用参数初值与目标函数推进搜索,返回par、value、counts及convergence等信息。返回码0表示按方法停止条件收敛,不自动证明全局最优。它有多种方法,默认Nelder–Mead无需导数,不能把所有方法概括为微积分或由局部信息必能认识全局。
优化返回收敛不证明全局最优提供相应独立卡片与原书证据。
第7章 优化:密码破译 · 连续片段2
单参数切片看起来单峰有助理解平方损失,但两条轴切片不能证明联合目标全局性质;参数尺度也影响搜索。
分别固定斜率或截距观察损失曲线,只展示两个切片。一般不能由各切片单峰推出联合目标没有其他结构;普通最小二乘的凸性要从完整平方目标判断,唯一性还取决于设计矩阵的秩。图形直觉可辅助诊断,不能替代这些条件。
轴向损失图不能证明联合最优提供相应独立卡片与原书证据。
原书依据 · 1 处
岭回归
岭回归在平方损失加系数平方惩罚,lambda改变拟合与收缩取舍;示例惩罚截距需与实际库区别,不可微损失要选匹配算法。
岭回归在平方残差和外加入lambda倍系数平方和,以较小参数换取稳定性。原例同时惩罚截距a和斜率b,这与许多库不惩罚截距的约定不同;lambda的数值也受是否平均损失及特征尺度影响,不能直接跨实现搬用。
岭损失把拟合与收缩合并提供相应独立卡片与原书证据。
绝对残差和在折点不可微,不能沿用所有依赖平滑梯度的推理。但不光滑不等于不存在全局解,也不意味着optim的所有方法都必失败。应选择适配损失与约束的优化方法,并核验收敛和目标值;原例系数输出约−340.4⁄7.56,文字−360/7.7不一致。
损失不光滑要匹配求解方法提供相应独立卡片与原书证据。
密码破译优化问题 · 连续片段1
替换密码以双射映射表示,词典概率给解码文本评分,通过交换映射保持合法;离散排列不能直接按普通连续参数搜索,贪心会受局部陷阱限制。
简单替换把每个字母固定映射到另一个字母,逆映射用于解码。修改一项时要交换两个输出以保持一一对应,否则可能无法还原。凯撒移位和ROT13是这类规则的特例,仅作优化教学,不具备现代加密安全性。
替换密码状态必须保持双射提供相应独立卡片与原书证据。
将解码词在词典中的概率组合,能奖励更像常见英文的输出,却忽略语法和词间依赖。未知词用小正数避免零概率。最大化这种评分不等于找到真实明文;词典覆盖、文本长度与语言不匹配都可能让高分答案失真。
词典评分是语句合理性的代理提供相应独立卡片与原书证据。
密码破译优化问题 · 连续片段2
随机候选通过交换字母生成,接受更高分或按概率接受较差解;对数域稳定评分,未知词常数与接受不等式须核对真实代码。
对称候选交换下,更高概率候选直接接受;较差候选以min(1,p新/p旧)接受,因此有机会离开贪心陷阱。对数评分L可算exp(L新−L旧),用u<该值决定接受。原文一处写u大于比值,与随后代码和规则相反,以代码中的小于为准;随机搜索不保证有限步找到真解。
评分比决定退步接受提供相应独立卡片与原书证据。
独立词概率乘积可转换成对数概率和,比较时不必存储极小乘积。未知词给定一个正下界,但.Machine$double.eps表示1附近的相对机器精度,并非最小正浮点数。该常数仍是评分假设,过大或过小会改变搜索偏好。
对数评分避免概率连乘下溢提供相应独立卡片与原书证据。
密码破译优化问题 · 连续片段3
搜索可曾经过正确解又离开,因为目标只看单词概率;模拟退火逐步降低退步接受,结果分布与单一最优也是不同目标。
历史轨迹曾到达正确明文又离开:更常见单词的组合可能评分更高,却语法不通。问题在目标函数与任务不一致,单纯加迭代次数不能修复。可引入词间信息和人工核验,并区分当前状态、历史最好与真实正确答案。
优化目标不等于真实任务目标提供相应独立卡片与原书证据。
模拟退火随迭代降低接受较差候选的倾向,先探索再逐步更贪心。温度安排、候选覆盖和停止规则影响结果,有限循环次数不保证真解;多随机种子可暴露波动。持续采样得到状态分布与保存单一最好状态是不同交付目标。
退火改变探索与收敛取舍提供相应独立卡片与原书证据。
第8章 PCA:构建股票市场指数
无监督学习不需要目标标签,但仍要明确保留什么结构。股票矩阵中PCA以线性组合提取共同变动,载荷是组合系数,得分是每天的新坐标。成分方向可整体翻转,标准化后能与外部指数比较历史走势。解释方差必须从标准差平方后归一;日期对齐、缺失处理、原单位与标准化选择都会影响结果。本例不提供投资或未来预测证据。
第8章 PCA:构建股票市场指数
没有目标标签也可压缩特征以发现结构;股价表按天为行、股票为列,目标是一列历史描述指数,不是未来收益预测。
无监督学习不依赖已知目标标签,可把多列压成少列以便理解结构。降维会丢信息,应说明想保留的是方差、距离还是其他关系。股价案例用共同变化构造描述性指数,并未学习预测收益,更不能把无监督结构当投资信号。
无监督降维先定义保留结构提供相应独立卡片与原书证据。
主成分分析 · 连续片段1
先重排日期—股票矩阵并检查缺失,再PCA得到主成分、载荷和得分;标准差输出不是贡献百分比,按日期对齐后才能比较外部指数。
PCA用原变量的线性组合产生互不相关的主成分,并按方差大小排序。保留前几个成分可压缩冗余,但第一成分不保证保留绝大部分方差,也不保证保留业务最重要的信息。是否按原单位或标准化后计算,会改变结果;应检查解释方差与任务损失。
降维视角提供相应独立卡片与原书证据。
载荷说明原变量如何组合成一个主成分;得分是每条观测在该成分上的新坐标。loadings[,1]取第一成分系数,predict(pca)[,1]得到对应样本得分。主成分整体乘−1不改变表示信息,只改变方向,比较外部指数时可统一符号。
载荷与主成分得分不要混淆提供相应独立卡片与原书证据。
princomp列出的Standard deviations是各成分标准差。解释方差比例应为s_j²除以全部s_k²之和,29.1和20.4不能直接读成29%和20%。判断保留几个成分应看这种归一比例及累计值,而非标准差数字大小本身。
主成分贡献率要平方后归一提供相应独立卡片与原书证据。
将长表按Date×Stock转为价格矩阵,先检查重复键、缺失日期和列的范围;比较DJI时也应按真实日期连接。反转一个序列只在日期一一对应时有效。原文表称2010—2011但代码及观测数涉及2002后时期,不能把文字范围当已核实数据。
时间矩阵与基准必须按键对齐提供相应独立卡片与原书证据。
主成分分析 · 连续片段2
翻转成分符号后标准化两指数比较走势,仅说明历史共同变化;melt用于长表绘图,原例transform语法和重复反号应显式核对。
对两个历史序列分别减均值除标准差,可比较形状而不受单位差异主导。先统一成分方向,再保持一致符号;原例后续又加负号且transform缺逗号,不能不检查就复制。同期走势相似仅是描述性符合,未验证新日期预测或投资收益。
标准化方便比较不证明预测提供相应独立卡片与原书证据。
原书依据 · 1 处
第9章 MDS:可视化地研究参议员相似性
相似性必须先由数据表示和距离规则定义。用户评分案例先计算内积关系,再计算这些关系向量的欧氏距离,MDS只把距离近似成二维布局。参议员案例把表决编码简化后作同样处理,党派与姓名随后提供解释背景。零编码的共同缺席、届次身份、低维误差与跨届尺度都会影响结论,因此不能从图中左右或间距直接推断因果或政治变化量。
第9章 MDS:可视化地研究参议员相似性 · 连续片段1
先把用户—产品评分转成用户之间的内积,再说明转置、乘法维度与顺序;内积衡量共同评分方向,却不是标准化相关系数。
用户×产品矩阵X乘X转置得到用户×用户矩阵;X转置乘X则比较产品。相乘时中间维度必须一致,输出保留左矩阵行和右矩阵列。R用%*%作矩阵乘法,不同于逐元素乘法。
矩阵乘法顺序决定比较对象提供相应独立卡片与原书证据。
±1评分的内积把共同赞同或反对记正、意见相反记负,零评分不贡献乘积;对角线为非零评分数。它受共同评价数量和活跃度影响,没有中心化或标准化,不能如正文所称直接当相关系数。内积为0也不等于两人没有共同信息。
评分内积不是相关系数提供相应独立卡片与原书证据。
第9章 MDS:可视化地研究参议员相似性 · 连续片段2
欧氏距离把向量差平方求和开方,案例实际上在用户内积关系向量之间计算;经典MDS近似保留输入距离以作低维布局。
欧氏距离是各坐标差的平方和开方。例中dist(ex.mult)比较的是用户对所有用户的内积关系行,不是原始产品评分行;两种表示会产生不同距离。零编码也把未评价当作一个数值坐标,其意义必须进入距离解释。
距离计算要说清比较的向量提供相应独立卡片与原书证据。
多维定标把成对距离转成低维坐标,经典方法在可用维度中近似原距离。二维未必能精确容纳全部距离,例如四个两两等距点需要更高维。它提供布局而非自动分类标签;距离误差和选择的表示共同限制对视觉群组的解释。
MDS近似保留距离作布局提供相应独立卡片与原书证据。
MDS坐标可整体旋转、平移或反射而不改变点间距离。图中靠左、靠上本身没有政治或偏好的固定含义;输入距离有明确单位时可结合拟合误差解释近似距离,而不能把任意坐标位置当独立属性。
布局坐标方向不带业务意义提供相应独立卡片与原书证据。
如何对美国参议员做聚类 · 连续片段1
参议院案例用公开记名投票和编码手册构建相似度,先分离身份列与投票列、逐届加载Stata文件;历史政治评论只作研究动机。
外部统计文件的列顺序、类型和数值码须由数据字典解释。投票案例先区分9列身份信息及后续表决,再决定哪些行列进入距离计算;不能把议员ID、党派数字或任职代码当连续意见值。逐届文件也要保留届次与对象对应。
编码手册先解释输入再计算提供相应独立卡片与原书证据。
如何对美国参议员做聚类 · 连续片段2
把赞成编码为1、反对为−1、未投票为0,排除非目标身份,再在内积关系上MDS;补回姓名党派用于解释,代码的届次索引与轴反射有差异。
将1—3编码赞成、4—6反对、其他情况为0,可以统一表决向量;却把未在任、缺席、弃权等不同原因合并。它们对内积和距离的影响不一定中性,不能从邻近直接推断政治立场一致。应记录简化损失并检查敏感性。
投票简化会合并不同缺失机制提供相应独立卡片与原书证据。
计算距离时排除的对象,在补回姓名与党派时也必须一致,最好用稳定ID核对,而非仅依赖行顺序。原例101:111列表第9项实际为109届,不是变量名所称110届;整体乘−1也反射两个坐标,不能写成只翻转x轴。
结果身份按同一筛选条件回接提供相应独立卡片与原书证据。
如何对美国参议员做聚类 · 连续片段3
按党派着色可见投票分组,缺席与竞选等背景会影响位置;各届独立布局的大小和方向不直接构成两极化时间趋势。
未投票合并为零后,参选或其他原因的共同缺席会影响议员关系向量与距离。图中相邻不必然来自政策一致,离群也未必是极端立场;应回看有效共同投票数和缺失机制。原书对特定人的竞选解释只是情境解释,不是距离结果独自证明。
共同缺席可能伪装成相似意见提供相应独立卡片与原书证据。
各届议题数、投票参与和距离尺度可不同,独立MDS轴也可旋转反射。即使面板共享显示尺度,群组宽窄仍不能直接当作两极化变化量。可观察党派分组,但要比较变化强度,还需统一距离定义、归一和可比较统计指标。
独立布局不能直接量化历史趋势提供相应独立卡片与原书证据。
第10章 kNN:推荐系统
k近邻利用局部相似样本投票或评分,关键在于定义距离、选择k并保证训练/测试边界。程序包推荐把用户—包安装关系转成物品列相似度,再按目标用户已安装的邻居比例排序。这个比例提供可解释证据,却不是校准概率;已安装筛除、常量列、身份对齐和冷启动都必须明确。原文逻辑回归基准缺响应族,不能据其分数断言算法优势。
第10章 kNN:推荐系统
固定半径在不均匀密度中表现不同,k近邻改为固定邻居数多数投票;留一邻域与真正保留测试要区分,原逻辑回归比较代码缺响应族且阈值不合适。
kNN先按选定距离找到最近k个训练样本,再用类别投票预测。固定半径在稀疏处可能没有邻居、密集处过多,固定k可调节范围;k、尺度、距离与平局规则仍影响结果,不能从一个非线性案例推断它普遍优于线性方法。
近邻数量替代固定半径提供相应独立卡片与原书证据。
邻居排序时直接丢第一项,只有自身唯一零距离且位居第一时才可靠;重复特征点会打破假设。应按样本ID显式排除自身,再取合法范围内的k项。用其余所有已标注样本为每点投票近似留一,不等于固定训练集上的独立保留评估。
排除自身必须按身份完成提供相应独立卡片与原书证据。
原例手写kNN在100点上错7个,包版在50测试点错7个,两者分母不同。随后名为逻辑回归的glm(Label~X+Y)未指定binomial,且用>0分类,不是公平的二元逻辑模型基准。不能照此把68%对86%作为算法优劣定论。
算法比较先保证接口与指标一致提供相应独立卡片与原书证据。
R语言程序包安装数据 · 连续片段1
程序包安装矩阵以列相关表示物品相似,转不相似度后按近邻已安装比例打分;用户ID、零方差列、已安装候选和冷启动都影响可用性。
基于用户的方法找喜好相近的人再参考其偏好;基于物品的方法找相似物品再参考目标用户已交互项。完整两两表成本分别约随用户数或物品数平方增长,可作为选择线索,但稀疏度、更新与效果也重要,不能只按数量判定最优。
用户近邻与物品近邻不同提供相应独立卡片与原书证据。
把User×Package转成宽表,以1/0标记安装情况,保留稳定用户ID并移除数值ID列,避免它污染相似性。未安装不必表示不喜欢,依赖安装也不必表示主动选择。非连续用户ID应按标识查行,不把行位置误当用户号。
安装矩阵不等于显式偏好评分提供相应独立卡片与原书证据。
案例用d=−log((r+1)/2)把相关1映射0、相关−1映射无穷。常量列的相关可能为NA,数值误差也要检查;这种单调变换未证明满足三角不等式,不能无条件叫通用距离度量。负相关与从未共同安装的含义也须结合数据解释。
相关转不相似度需处理边界提供相应独立卡片与原书证据。
计算候选物品的k个邻居中目标用户已安装的比例,可用来排序。0.76表示19/25近邻已安装,不是经验证的76%安装概率。推荐前还应剔除已安装、不兼容或不可用项,处理无邻居和新用户情况;本例排名未包含完整产品约束。
近邻安装比例是推荐评分提供相应独立卡片与原书证据。
R语言程序包安装数据 · 连续片段2
物品近邻能以已安装的相似包解释推荐,但解释需要对上实际邻居与输入语义,不能代替效果验证。
可以说明候选P与已安装X/Y/Z相似,从而解释为什么得到高评分。解释应展示实际参与评分的邻居及其关系,不能把依赖共装或偶然相关写成偏好因果。可解释性有助排错与选择,但仍需要保留数据或真实反馈评估推荐是否有用。
近邻解释应对应真实推荐证据提供相应独立卡片与原书证据。
第11章 分析社交图谱
网络分析先规定节点与有向关系的意义。历史接口把公开关注快照转为边列表,滚雪球在轮数与已访问集合约束下扩展。核、个体网、路径剖面及层次分组是不同转换,不能把一次矩阵类型转换误说成没有重算距离。布局再把大小、颜色和位置用于展示,推荐则从开放三角生成候选并按共同关注或圈子分别排序。关注不等于友谊,快照覆盖、缺失、身份和真实反馈始终限制解释。
第11章 分析社交图谱 · 连续片段1
关系网络把对象与联系建模,埃尔德什数示范路径距离;个体网络包括种子、邻居及邻居之间关系。七桥历史例应与访问顶点的旅行商区别。
在合著图中,以论文合著为边,埃尔德什数表示到指定作者的最短合著路径边数。它描述已记录合作关系,不是个人声望或研究质量的直接刻度。图上的近远取决于边的定义与覆盖,未连通对象也可能没有有限距离。
关系路径描述连接距离提供相应独立卡片与原书证据。
个体网络包括一个种子、直接邻居、种子与邻居的边,以及邻居之间的边。它可用于观察本地圈子,不能只取星形边列表就声称已包含邻居互连。在有向图中还要明确邻居指入边、出边还是两者。
个体网络保留邻居之间联系提供相应独立卡片与原书证据。
图用节点表示对象、边表示关系;边的方向、权重和标签都来自建模选择。七桥问题要求每条边恰走一次,是欧拉路径问题,与通常要求访问各顶点并优化路程的旅行商问题不同。原文将其称为旅行商变型不宜照搬。
边的定义决定图问题类型提供相应独立卡片与原书证据。
第11章 分析社交图谱 · 连续片段2
无向边表达对称关系,有向边表达单向关系,带符号或权重边增加关系语义;历史产品功能只作为建图例。
有向图的u→v与v→u是不同关系,出度数从u发出的边,入度数指向u的边。关注不自动代表互相认识、认可或喜欢。无向图及符号/权重图是不同建模选择;原文把Twitter再称无向图是文字冲突,应依后续有向处理。
关注方向不能当互为好友提供相应独立卡片与原书证据。
原书依据 · 1 处
用黑客的方法研究Twitter的社交关系图数据 · 连续片段1
历史SGA汇集公开连接且缓存滞后,出入边分别对应关注与被关注;两轮滚雪球限定局部样本,作者已注明服务关闭并提供旧快照。
历史社交关系缓存只覆盖公开链接,抓取周期造成已失效关注仍可能存在;私有账户或不可访问关系也会缺失。因此本地快照不等于用户当前完整网络。原书脚注已注明SGA关闭,旧查询地址、额度和API参数仅作接口案例,本轮未请求账户关系。
缓存关系图不能当实时全量图提供相应独立卡片与原书证据。
从一个种子扩展邻居,再以新邻居继续扩展若干轮,得到局部网络样本。高连接节点可能使请求、存储和内存快速增长;轮数、去重和访问预算需预设。样本受起点、公开性与缓存影响,不是对整个社交网络的随机抽样。
滚雪球样本受种子与轮数限制提供相应独立卡片与原书证据。
用黑客的方法研究Twitter的社交关系图数据 · 连续片段2
HTTP请求、JSON解析、节点清洗与边列表构造分层;原例无限重试和URL子串筛选不足以证明稳定性,建图需要保留方向与空结果形状。
原例只检测固定Service Unavailable文本并无限立即重试,既无次数上限,也无等待或完整状态检查。实际流程应区分HTTP失败、响应解析失败与合法空数据,并定义重试预算和恢复记录;本轮只分析历史代码,不访问已关闭端点。
网络重试应保留失败边界提供相应独立卡片与原书证据。
两列边列表以第一列为来源、第二列为目标。历史返回中的out关系生成种子→关注对象,in关系生成粉丝→种子,再合并为图。空结果、唯一账户标识和方向必须一致;URL子串匹配或任取JSON第一个节点不能保证身份正确。
边列表显式保存起点终点提供相应独立卡片与原书证据。
用黑客的方法研究Twitter的社交关系图数据 · 连续片段3
滚雪球以待访问和已访问集合推进,最后按语义去重边;原代码逻辑索引写法及空边处理有问题,多重边是否删除依关系含义决定。
维护本轮候选、下一轮候选及已访问集合,访问前排除已见节点,成功或失败状态按约定记录,再按轮数停止。原例!which(...)不是逐项取反的成员掩码;应区分逻辑过滤与位置索引,且空矩阵也要有稳定维度。
遍历去重同时约束请求与状态提供相应独立卡片与原书证据。
同一关注关系重复抓取通常应按有序端点去重,避免错误增加度数。若边表示多次交易、消息或不同关系类型,多重边可能本就是有效数据,不能因当前例子删除就说多重图没有分析价值。身份、方向与边类型决定去重键。
重复边是否去除取决于语义提供相应独立卡片与原书证据。
分析Twitter社交网络 · 连续片段1
历史快照添加标签、提取入向2核与出邻居个体网,再由路径关系做层次聚类;核数递归定义与dist对矩阵行重新求距离均需说明。
k核要求保留子图中每个节点都满足相应度下限,删去不足者后还要继续检查,不是只按原图度数过滤一次。有向图要声明采用入度、出度或总度。核提取可减去外围节点,也会改变样本范围,不能默认被删除关系没有分析价值。
k核是子图内的递归连通条件提供相应独立卡片与原书证据。
提取种子及出邻居子图时,应按稳定名字或当前API的顶点序列识别种子。原代码c(0,neighbors(…))假定种子恰好在0号,旧igraph与R下标差异也只适用于对应版本,不能在当前环境机械加减1。先核对身份再转换索引。
图顶点身份不能依赖旧版下标提供相应独立卡片与原书证据。
shortest.paths产生节点间路径长度矩阵,dist(user.sp)会再计算这些行向量之间的距离,并非只转换格式。若想直接对已有距离聚类,需使用相应距离对象及不可达处理;若刻意比较距离剖面,则应明确这是另一种相似性定义。
距离矩阵不应再被当特征表提供相应独立卡片与原书证据。
分析Twitter社交网络 · 连续片段2
层次树展示不同粒度,cutree给组标签,再保存到GraphML;人为把首节点改0仅是展示标记,应按身份并保留算法结果。
层次聚类给出不同粒度的嵌套分组,cutree(...,k=i)选择i组并给对象成员标签。分组受距离与连接规则影响,不证明现实存在同样数量的圈子;k要受样本数约束,需保留节点顺序对应。人为另标种子不应覆盖原始分析标签。
层次树切分粒度需与目标一致提供相应独立卡片与原书证据。
GraphML可保存节点、边以及标签和分区等元数据,适合R与图可视化工具交换结果。导出前核对有向性、唯一节点ID、属性类型与成员对应,导入后复核数量;XML大小和解析成本也需考虑。文件存在不等于图和分析属性完整。
图文件交换要保留属性契约提供相应独立卡片与原书证据。
使用Gephi可视化Twitter聚类网络
Gephi加载有向图后用力导向布局,节点大小映射入度、颜色映射切分;布局与聚类是不同操作,书中人物身份只作历史解释。
力导向模拟节点排斥和边牵引,将图布置成易读位置;聚类标签则来自另行计算的分组。两者可能呈现相近结构,却不是互相验证。布局位置没有固定地理或心理含义,算法、随机性及参数都可能改变视觉圈子。
力导向布局与聚类标签分开提供相应独立卡片与原书证据。
节点大小可映射入度,颜色可映射某次层次切分标签,标签显示身份。先确认使用哪张子图、哪类度和哪个分区,再解释突出节点;出邻居个体网不保证所有邻居反向关注种子,因此种子也不必然入度最大。旧菜单和人物职务仅属书中快照。
图形映射必须标清数据含义提供相应独立卡片与原书证据。
建立“感兴趣的人”引擎 · 连续片段1
社会平衡用有符号关系描述三角,但单向关注没有敌友符号;推荐只按共同关注闭合开放三角,规范候选后以朋友覆盖比例排序。
朋友的朋友可作为候选,尤其是被许多已关注对象共同关注的人。该启发式利用局部重叠,不证明关注代表友谊或认可,也不能把缺少关注当作敌对。社会平衡的正负关系前提与普通单向关注不同,推荐结果需实际反馈检验。
三角闭合是推荐假设提供相应独立卡片与原书证据。
保留从种子已关注对象发出的边,排除种子本人及已经关注的目标,再按候选被多少朋友关注计数。用该数除以朋友数便于同一用户内解释,但不是关注概率;应先去重关系、处理零朋友和样本缺失。方向颠倒会把推荐变成另一问题。
共同关注推荐先过滤候选提供相应独立卡片与原书证据。
建立“感兴趣的人”引擎 · 连续片段2
把同一候选集按朋友所在圈子分别计数并取各组首项,去重后提供多兴趣推荐;原单行维度退化和样本解释不能忽略。
在共同关注候选中,按已知圈子分别统计支持者,取各圈子的高分候选,再去重。它可避免全局热门项淹没小兴趣,但成员切分和每组样本量会影响结果;不能从历史人物叙述保证推荐准确。空组、单边子集和同分候选都要保持明确处理规则。
按圈子选候选覆盖多种兴趣提供相应独立卡片与原书证据。
原书依据 · 1 处
第12章 模型比较
模型选择必须先确定任务类型与公平协议。核能表示不同边界,但数值标签会让e1071默认执行回归;cost也不能沿用lambda的方向解释。原书在同一保留集上搜索lambda和k,只能形成验证结果。比较应公开特征、指标、搜索投入与运行成本,再用未参与选择的数据评估,胜负才有明确适用范围。
第12章 模型比较 · 连续片段1
条带数据上比较逻辑回归与SVM,核改变特征内积形式;原数值标签默认回归的陷阱须先解除,训练效果不能代替泛化。
e1071的svm会依据响应类型选择默认任务:factor用于分类,数值向量用于回归。书中0/1数值Label直接传入svm后将输出以0为阈值二值化,不能据此把结果称为标准SVM分类。复现时先固定标签levels与type,再核对预测类别;若主动用回归打分,应另行确定阈值与评估含义。
分类标签类型决定SVM任务提供相应独立卡片与原书证据。
核方法以特征映射后的内积构造模型,使原始坐标中的非线性边界成为可能。线性、多项式、径向与S形核有不同形式和参数,不能只按名称宣布优劣。条带示例说明线性边界可能不足,是否更好仍须按正确任务类型和独立验证确定。
核函数改变模型表达方式提供相应独立卡片与原书证据。
多项式核的degree改变表达能力。更高阶可能改变训练边界和计算成本,也可能拟合噪声;不保证训练误差严格下降,更不能保证新数据更好。各阶数应在同一验证方案下比较,最终测试集保留到选择结束。
多项式阶数属于调参选择提供相应独立卡片与原书证据。
第12章 模型比较 · 连续片段2
cost是约束违例代价而非glmnet同方向lambda;gamma效果依赖核与数据,四个历史数值并非单调趋势。
软间隔SVM的C(e1071参数cost)控制违例损失相对间隔正则项的权重。较大C提高违例代价,不能沿用glmnet中较大lambda表示更强正则化的方向解释。书中cost增大而报告准确率下降的样例,既不能反证定义,也不能证明越大越好,应先修正任务类型再验证。
SVM的C与惩罚强度别倒置提供相应独立卡片与原书证据。
gamma参与径向、多项式或S形核的计算,作用随核形式与特征尺度不同。它与cost及degree共同影响边界,数值增大不保证精度提高。书中S形核的四个结果本身也非单调改善,不能只凭图形更复杂判定模型进步。
核参数必须联合验证提供相应独立卡片与原书证据。
第12章 模型比较 · 连续片段3
转入同一邮件数据上的多模型比较,承接前面的核与调参,不另立重复卡。
算法比较 · 连续片段1
在相同邮件划分上比较正则逻辑回归、两种核SVM和kNN;须区分验证与最终测试、任务类型、指标名称及调参预算。
比较算法先固定目标、数据划分、预处理和指标,再分别调参。书中反复在所谓测试集选择lambda和k,实际上把它用作验证集;最小错误率会乐观,需另留最终测试集或采用嵌套交叉验证。训练折拟合词表、标准化等预处理以避免泄漏,并记录随机种子、任务类型和搜索预算。
模型比较必须固定评估协议提供相应独立卡片与原书证据。
mean(predictions!=test.y)是分类错误率。对严格0/1预测与标签,它数值等于平方误差平均,但不等于概率预测的MSE,也不应与回归误差混用。书中0.06830769约为6.83%,记录时保留精度、类别基线和阈值规则,不笼统写成6%。
零一错误率要按实际公式命名提供相应独立卡片与原书证据。
一个模型充分搜索lambda,另一个只用默认cost,结果混合了算法与投入差异。应公开搜索范围、训练时间、验证次数和停止条件;同等预算或实际部署约束下比较更有解释力。默认SVM胜负不能用来证明数据边界一定线性。
调参预算也是比较条件提供相应独立卡片与原书证据。
在同一验证协议下多个lambda得到相同最低错误率,可用较大lambda作为偏向强约束的确定性规则。该规则只用于glmnet这类相同参数语义的候选,不自动迁移到SVM的C;还需考虑性能不确定性、复杂度与实际成本。
同分模型可偏向更强约束提供相应独立卡片与原书证据。
算法比较 · 连续片段2
收束为任务依赖、合理搜索与理论基础;历史邮件结果及行业断言不扩张成通用结论。
某次邮件数据中调参后的逻辑回归胜出,只支持对应数据、表示、划分和搜索预算下的结论。真实结构、样本量、噪声与运行成本都影响选择;应保留简单基线,比较多个可行候选,再以独立测试验证。书中对当时行业采用情况的叙述不能代替当前证据。
最优模型依赖任务与约束提供相应独立卡片与原书证据。
原书依据 · 1 处
参考文献与封面说明
参考文献提供继续学习的书籍和论文入口,不等于本书展开了这些理论;封面附记仅解释出版设计。
参考文献
逐条读取15项图书参考,统一登记作者、年份与用途;书目本身没有展开理论,不生成冒充读过这些著作的知识卡。
论文
逐条读取7项论文或评论资料,按正式书目纠正正文简写和此前未确认标题;引用仅登记不伪造方法内容。
封面介绍
封面说明给出兀鹫的体貌、地理分布、食腐习性及历史寿命纪录,属于封面设计说明,不参与机器学习方法主线。
跨章综合
分类与回归共享特征和损失选择,却不能把数值标签、阈值或误差名称混用;PCA、MDS及聚类同样依赖相似性定义,图形并不会自动证明真实群体。历史邮件、股票、选票和关注快照都说明:先问样本如何产生、变量代表什么,再解释模型输出。简单基线、训练内拟合预处理、明确验证用途和可复现参数记录,贯穿所有章节。
发散与实践
延伸实践以计划交付:一项固定glmnet源码追踪正则路径与交叉验证,一项设计邮件分类的公平比较实验。均包含首轮材料与可执行验收条件,未运行模型训练或访问个人数据。