决策树信息增益
决策树训练时,每一步都选区分度最高的特征来划分数据,否则每次只能分出一个样本,树会深得毫无效率。ID3 用熵衡量数据集的混乱程度,用划分后熵的减少量(信息增益)衡量特征的区分度。小冰“读心术”在 15 个问题内猜出人物,大概率就是这个原理。设计分流、诊断或追问顺序时,也应先问最能缩小范围的问题。
主题对照
分类、聚类、关联规则、主题模型、集成方法与矩阵分解各自的适用边界,以及推荐、征信、CTR 等业务场景里多模型怎样组合、为什么要看查准查全而不是只看准确率。
决策树训练时,每一步都选区分度最高的特征来划分数据,否则每次只能分出一个样本,树会深得毫无效率。ID3 用熵衡量数据集的混乱程度,用划分后熵的减少量(信息增益)衡量特征的区分度。小冰“读心术”在 15 个问题内猜出人物,大概率就是这个原理。设计分流、诊断或追问顺序时,也应先问最能缩小范围的问题。
朴素贝叶斯做了两个简化假设:每个词出现与否相互独立,且每个词对判定类别同样重要。这两个假设在真实语言里都不成立,但算法依然简单有效,常用于垃圾邮件过滤。它提醒我们:模型假设不是事实本身,而是在成本、效果和可解释性之间做的工程取舍,关键是验证近似在自己的场景里是否够用。
个性化推荐常用三类算法,各自的核心假设和适用边界完全不同。协同过滤:假设”跟你喜好相似的人喜欢的东西你也很可能喜欢”,不需要产品或行业专业知识,能推荐内容差异较大但用户确实感兴趣的商品,随时间自动学习提升;但存在三个固有缺陷——稀疏性问题(用户评价数据太少,相似度计算不准)、可扩展性问题(用户和商品增多后系统性能下降)、冷启动问题(新用户没有历史行为、从未被评价的商品都无法进入推荐)。基于内容:假设”用户会喜欢和他过去喜欢的东西相似的内容”,只依赖待推荐对象本身的属性、类目、关键词,不依赖大量用户点击日志,因此在待推荐对象数量庞大、变化快、点击数据稀少的场景(如新闻资讯)表现好,也能应对协同过滤解决不了的冷启动问题;但缺点是只能推荐和已有兴趣相似的内容,无法帮用户发现全新的兴趣,且要提高精度就得增加特征维度,维度一增加计算量呈指数级增长。基于知识:不需要任何用户行为数据,而是让用户主动指定需求(如广告要投放给某地区某年龄段),系统据此推理匹配,因此完全不受冷启动问题困扰,多用于精准广告这类用户行为数据本就稀少的场景。三种算法的选型逻辑本质是”有没有用户历史行为数据”与”能不能容忍推荐结果局限在已知兴趣范围内”的权衡。
结构图:
flowchart TB
A["三种推荐算法选型"]
A --> B["协同过滤:相似人群假设<br/>能推新兴趣,但冷启动/稀疏/扩展性差"]
A --> C["基于内容:相似内容假设<br/>不依赖点击日志,抗冷启动,但发现不了新兴趣"]
A --> D["基于知识:用户主动指定需求<br/>完全不依赖行为数据,适合精准广告场景"]
大数据征信先把数千种第三方与本人原始数据输入系统,挖掘关联并转换,整合成反映诈骗概率、信用风险、偿还能力等方面的指标,分别输入不同模型,最后按“模型投票”得出信用分。书中 ZestFinance 为每位申请人用 10 个以上机器学习模型、分析上万条信息,5 秒内完成。
四种经典征信/破产预测模型代表了不同的判断依据。Z计分模型:由爱德华·奥特曼1968年提出,用几个关键财务比率(如流动资产减流动负债除以资产总额、未分配利润占比等)加权求和算出Z值,Z值越低破产风险越大;局限在于只依赖财务报表账面数据,假设指标间是线性关系,无法计量表外信用风险,且权数难以精确确定。巴萨利模型:在Z计分模型基础上发展而来,形式更简单、不需要复杂计算,用五项比率之和作为最终指数,适用范围更宽(不局限于制造业),据称准确率可达95%,且比Z计分模型多一个功能——除了预测破产可能性还能衡量公司实力大小。A值模型:针对Z计分模型和巴萨利模型”只看财务报表”的共同弱点而生——财务困境中的企业往往会粉饰报表,A值模型转而把管理不善的现象(管理缺陷、易犯错误、恶化征兆共17种)纳入评分,总分100分中超过25分就视为有潜在破产风险,本质是从”看账面数字”转向”看管理行为”。FICO个人信用评分模型:面向个人而非企业,五类因素按权重排序——信用偿还历史占35%(是否有逾期记录)、信用账户数占30%(还款能力是否被用尽)、使用信用的年限占15%、新开立信用账户占10%、正在使用的信用类型占10%,分数范围300-850分,680分以上通常可直接放款、620分以下通常被拒或要求增加担保。四种模型的演进脉络清晰:从纯财务比率,到财务+管理因素,再到个人的长期行为历史,判断依据越来越贴近真实的还款能力和意愿,而不只是某一时点的账面快照。
结构图:
flowchart LR
A["Z计分模型<br/>纯财务比率加权<br/>局限:忽视管理/表外风险"]
A --> B["巴萨利模型<br/>简化计算,适用范围更宽<br/>准确率约95%"]
B --> C["A值模型<br/>加入管理不善17种现象<br/>应对财务报表粉饰"]
C --> D["FICO模型(面向个人)<br/>五类行为历史加权<br/>还款历史35%权重最高"]
完善的推荐系统通常综合使用多种算法,再根据 A/B 测试确定各自结果的比例。主流算法有:内容相似、关联规则(Apriori、FP-树)、协同过滤(基于用户或物品,对卫生纸这类人人常买的物品要加惩罚因子)、主题模型等。新用户缺少行为时,让其注册时自选兴趣标签,并结合热门标签推荐。
LDA 是文档主题生成模型,分词、主题、文档三层:它假设文章中的每个词,都是先按一定概率选一个主题,再从该主题中按一定概率选出的。它是非监督方法,用来发现大规模文档集中潜藏的主题,经典应用是关键词提取。LDA 采用词袋方法,把文档看成词频向量,不考虑词序,这简化了问题,也限制了表达。
MinHash 是局部敏感哈希的一种,用来快速估算两个集合的相似度,最初用于搜索引擎检测重复网页,也可用于大规模聚类和降维。它基于 Jaccard 相似度:两个集合共有的元素数除以两者总共的元素数,取值在 0 到 1 之间。用于文本时,先要把文档转换成集合,这一步的处理方式会直接影响结果。
K-means 先选 k 个初始中心,把每个对象分到最近的中心,再用各类均值更新中心,反复迭代直到收敛,使类内尽量紧凑、类间尽量分开。它最大的优势是简洁、快速,关键在于初始中心的选择和距离公式,而且必须事先指定 K。不想硬性指定 K 时,可先用 Canopy 粗聚类确定类别数,再交给 K-means,或改用 MeanShift。
关联规则挖掘分两个阶段:先从交易数据中找出所有高频项目组,即支持度(一起出现的频率)不低于最小支持度的组合;再由这些高频项目组生成规则,只保留置信度不低于最小置信度的规则。书中以“尿布→啤酒”为例,要求同时满足支持度 ≥5% 和置信度 ≥70%。Mahout 提供 Apriori 和 fpGrowth 两种实现。
Bagging 训练多个模型再投票,每个模型权重相同:分类取票数最多的类别,回归取平均值,用多个弱分类器集成出高性能的分类器。典型代表是随机森林:训练每棵树时对样本和特征随机抽样,所以各树略有不同,可以并行训练;合并多棵树的预测能减少方差、降低过拟合,而且不需要特征缩放。
Boosting 同样训练多个决策树模型,但它是迭代进行的:每一轮都提高上一轮分错样本的权重,让后续模型更关注容易分错的数据。融合时各模型的权重也不同,最终按权重加权合成。Adaboost 和 GBDT 都采用这种思想。与 Bagging 各模型等权、可并行不同,Boosting 的各轮之间有先后依赖。
梯度提升决策树(GBDT)依次迭代训练一系列决策树,以最小化损失函数:每一轮先用现有的树集合对训练样本做预测,与真实标签比较,把预测不好的样本赋予更高权重,让下一棵树修正先前的错误。它能处理类别特征、不需要特征缩放。书中 Spark.ml 版本的分类损失为对数损失,回归为平方误差或绝对误差,当时还不支持多分类。
K均值把每个样本表示为特征空间中的点,先选K个中心,再反复将样本分给中心并调整中心,使组内点尽量靠近各自质心。它适合探索数值特征中的分组结构;缺失值填补和尺度标准化会影响距离,因此预处理也是模型含义的一部分。
K均值要求事先指定K,而数据本身通常不给出唯一正确的聚类数;不同K、算法或参数会形成不同分组。比较多种设定并查看重复出现的模式,能把聚类当作探索线索;若要声称存在真实类别,还需独立证据验证其稳定性与用途。
朴素贝叶斯用训练数据中的类别频率和特征条件概率估计样本所属类别,其简化前提是给定类别后各特征相互独立。用于工控流量异常分类时,它能把多个报文字段的观测转成类别概率;若字段之间强相关或工况变化明显,独立性近似可能影响判断,需用现场数据验证。
P 值是在既定假设下,观测到当前或更极端结果的概率。流量监控可先建立正常访问量分布,再计算当前峰值的尾部概率;概率很小时,将该观测标为待调查异常。书中以每秒访问量均值为 6 的泊松模型和观测值 16 为例。小概率提示观测与模型不合,并不单独证明系统遭到攻击;还需核对模型是否适用于当前时段。
传统的用户/商品行为规律挖掘依赖人为设定维度和分类标准(比如按月份分夏季热销/冬季热销),高度依赖个体经验且颗粒度粗。矩阵分解把这个问题转化成数学投影:把高维原始矩阵分解成基矩阵(低维空间里的特征方向)和系数矩阵(在这些方向上的强度),投影到低维空间的过程天然剔除了噪声、保留了主要结构,让”规律”变成数据本身涌现出的低维特征,而不需要人工预设分类标准。
矩阵是线性变换的描述,而特征向量是这个变换中方向不变、只被拉伸或压缩的特殊向量,拉伸倍数就是特征值。以特征向量为基重新表达空间后,复杂的旋转拉伸变换能被拆解成”变换到特征基坐标→按特征值缩放→变换回原坐标”三步,特征值越大说明该方向承载的信息越多;特征值很小的方向信息量很少,舍弃它们就是矩阵分解做降维的基本原理。
[[特征值分解的几何意义]]只能作用于方阵,而现实中的数据矩阵(样本数×特征数)通常不是方阵。SVD通过分别对A的转置乘A、A乘A的转置做特征分解,构造出一组”经过A变换后仍然正交”的基,从而把任意m×n矩阵分解成左奇异矩阵、奇异值矩阵、右奇异矩阵三者的乘积A=UΣV^T,其中奇异值矩阵里的数值就相当于特征值,衡量每个方向承载信息量的大小。
对[[SVD推广到非方阵]]得到的奇异值从大到小排序后,只保留前k个奇异值及对应的奇异向量重构原矩阵,就能在维持整体结构(矩阵仍是m×n维)的同时把有效信息压缩到k维,天然剔除了排在后面、代表噪声的部分。k的取值常用启发式策略——比如让保留的奇异值平方和占全部奇异值平方和的90%——在压缩率和信息保真度之间做取舍。
直接对高维原始时间序列(如51周的商品销量)做聚类容易被噪声和维度灾难干扰。常见做法是先用SVD把数据压缩到k个主方向,再计算每个样本和每个主方向的相关系数,把这组相关系数当作新的低维特征交给K均值聚类,最后还原到原始时间轴上观察每一类的平均曲线。这套”先分解降维、再对分解出的系数聚类”的组合,是矩阵分解类方法做行为规律挖掘的典型套路。
NMF要求分解出的基矩阵和系数矩阵都非负,这让原矩阵的每一列只能表示成基向量的”相加”组合,天然对应”局部构成整体”的直觉——比如一张人脸可以被分解为眼睛、鼻子、嘴巴等非负局部特征的加权和。这跟PCA允许正负抵消、得到的是完整”特征脸”正交基完全不同,NMF因此更适合本身就非负、且局部特征有明确物理意义的数据,比如图像像素、词频、购买次数。
因为只能相加不能相减,[[NMF非负带来可解释性]]学到的表示天然是稀疏的——每个样本通常只需用到少数几个基向量就能重构,不像PCA那样要用到所有正交基。这对现实中大量存在的稀疏数据(比如用户评分矩阵,绝大部分商品用户根本没打过分)特别友好:稀疏解既降低了存储和计算开销,也让分解出的局部特征更容易对应到可解释的业务含义。
聚类分析把一组对象按”相似性”分组,但”相似”本身没有唯一定义——闵可夫斯基距离(连续变量,p=2时即欧氏距离)、杰卡德系数(分类变量,衡量集合交并比)、余弦相似度(衡量向量夹角,常用于文本/高维稀疏数据)适用于不同的数据类型和场景。选错距离度量,聚类算法即使跑得再对也会得到没有业务意义的分组,所以聚类本质上不是一个自动化任务,而是需要结合数据特点反复尝试的迭代过程。
K均值聚类通过反复”分配最近质心→重算质心”迭代,让每个点到所属簇质心的距离平方和最小,运算高效、结果易理解。但它有两个明显短板:一是必须提前指定簇数K,K选不好聚类质量就差,通常靠手肘法或轮廓图来辅助挑选;二是对异常点比较敏感,实践中往往需要先做标准化和去除离群值再聚类。
层次聚类通过不断合并(凝聚法)或拆分(分裂法)群集,构建出一棵树状结构(树状图),叶节点是单个样本,树的高度代表群集间的距离。相比[[K均值聚类需要预先指定K值]],层次聚类的优势是可以在聚类完成后,通过在树状图的不同高度”切一刀”来选择合适的簇数,聚类结果的层次结构本身也更直观、更容易被解释。
凝聚层次聚类合并两个群集时,”簇间距离”怎么算有讲究:单连接法取两个簇中最相似(距离最近)的一对样本的距离,容易产生链状拉长的簇;全连接法取两个簇中最不相似(距离最远)的一对样本的距离,倾向于产生更紧凑、大小均匀的簇。选哪种连接方式,会直接影响[[层次聚类不需要预先指定簇数]]最终聚出来的簇的形状特征。
自编码器由编码器和解码器两部分组成:编码器把高维输入(比如784个像素的图像)压缩成一组低维特征(比如10个数),解码器再尝试用这组压缩特征重建出接近原始输入的结果。整个训练过程不需要任何标签,模型靠”能不能把自己重建回去”这个信号来学习,压缩出的低维特征本身就承载了数据的核心结构,可以直接拿来做后续任务(如聚类)而不需要解码器参与。
传统做法是先做特征提取/降维,再对提取出的特征跑一次K均值聚类,两步互不影响。基于[[自编码器的压缩与重建]]的深度嵌入聚类模型则先用自编码器预训练出初始特征、再用K均值给出初始聚类中心,之后把聚类质心也变成可训练的参数,和特征表示一起用反向传播同步优化——特征表示的调整会让聚类更容易分开,聚类信号反过来又引导特征往更利于分类的方向收敛,两者互相促进而不是割裂的两个阶段。
点击箭头逐层展开,点击卡片标题查看详情。路径上下文仅用于连接层级,不计入主题卡片数。
来源书籍
算法与数据结构类
书籍类型:经典原理
清单覆盖 7/7
1142 张卡片
来源书籍
人机对话系统设计类
书籍类型:工程实践
清单覆盖 6/6
39 张卡片
来源书籍
企业大数据建设类
书籍类型:工程实践
清单覆盖 7/7
102 张卡片
来源书籍
系统架构类
书籍类型:工程实践
清单覆盖 5/6
39 张卡片
来源书籍
大数据与机器学习平台工程类
书籍类型:工程实践
清单覆盖 7/7
34 张卡片
来源书籍
书籍类型:未标注
424 张卡片
来源书籍
系统架构类
书籍类型:工程实践
清单覆盖 6/7
122 张卡片
来源书籍
实时流计算系统类
书籍类型:未标注
清单覆盖 8/8
172 张卡片
来源书籍
安全/密码学类
书籍类型:工程实践
清单覆盖 7/7
215 张卡片
来源书籍
数据科学实践类。全书虽为多作者案例集,但整体围绕真实数据项目的定义、获取、清洗、分析、建模、呈现与治理,符合端到端数据科学实践的判定范围。逐项对照必答维度:
书籍类型:未标注
类别清单尚未核对
229 张卡片
来源书籍
统计建模与因果推断类
书籍类型:未标注
清单覆盖 8/8
93 张卡片
来源书籍
算法与数据结构类。按全文与现有卡核对七项;“已覆盖”表示保留了本书实际展开的部分,不表示穷尽该领域。
书籍类型:经典原理
清单覆盖 6/7
367 张卡片
主题索引
比较传统机器学习、深度学习与强化学习的学习方式、特征假设、模型取舍与数据反馈闭环。
主题索引
比较大数据在用户画像、个性化营销、程序化广告与实时竞价、大数据征信中的方法、数据来源与风险。
主题索引
从数据里得出可行动的结论:用户行为与生命周期怎么建模、A/B 实验怎么设计才有效、观测数据下的因果推断能推到哪一步。
主题索引
比较特征值分解、SVD、NMF 等矩阵分解与 K 均值、层次聚类、深度聚类在规律挖掘与降维中的取舍。
主题索引
比较 A/B 实验的假设检验、样本量与方差控制、区组设计,以及网络效应、双边市场、强约束场景下的特殊实验设计。
与 4 张主题卡片存在结构化链接;来自相同书籍;属于相同分类
与 3 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类
与 3 张主题卡片存在结构化链接;来自相同书籍;属于相同分类
与 2 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类
与 2 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类
与 2 张主题卡片存在结构化链接;来自相同书籍;属于相同分类