此笔记位置已失效,请从目录继续阅读。
全书导读
这本书把数据科学当作一条完整的生产线来写,而不是一堆算法的集合。它的组织方式是:先讲清楚大数据为什么逼着人换方法(第1章),再给出一条可以反复回退的项目流程(第2章),然后用 R 把”看清数据”这件事拆成导入、探索、统计检验三个动作(第3章),接着才是聚类、关联规则、回归、分类、时间序列、文本分析六类方法(第4至9章),最后落到 MapReduce/Hadoop 与 SQL 数据库内分析两种执行环境(第10、11章),收尾讲如何把结论变成组织认账的交付物(第12章)。
读这本书要抓住的是一条判断链:数据类型决定可用运算,可用运算决定能选哪些方法,方法的前提假设决定结论能走多远,而执行环境决定这些计算能不能在可接受的时间内跑完。任何一环被跳过,后面的结论就没有依据。书中反复出现的失败模式都属于这一类——把非结构化数据塞进关系表、在量纲不同的属性上直接算欧氏距离、用置信度代替提升度判断规则价值、把高 R² 当作模型可用的证据、把不平稳序列直接送进 ARIMA。
第二个特点是它不回避”方法之外”的部分。生命周期一章花了大量篇幅讲七种角色、发起人的真实诉求、失败标准怎么写;收尾一章讲受众分层、核心素材复用、图表取舍。这些内容在算法书里通常被省略,但它们决定了一个分析项目是被采纳还是烂在报告里。
阅读顺序上,第1至3章是地基,不建议跳读;第4至9章可按手上问题挑读,但每章开头的”关键概念”与结尾的”总结”要连起来看,那里才是边界条件所在;第10、11章偏工程,若无集群与数据库环境,读其权衡部分即可;第12章任何角色都值得读一遍。
全书主线
前半本建立”为什么”和”怎么做”。 第1章用 3V(数量、种类、速度)把大数据定义成”旧架构接不住”的问题,而不是”数据变大”的现象,并沿结构把数据分成结构化、半结构化、准结构化、非结构化四档——这条线索一直用到第9、10章。存储侧的比较(电子表格、EDW、分析沙盘)落在一个判断上:探索性分析需要一块不受生产库约束、但仍在治理之下的空间。第2章把项目切成发现、数据准备、模型规划、模型建立、沟通结果、实施六阶段,并强调它是循环而非流水线;最实用的一条经验是时间分布——发现与数据准备吃掉一半以上,建模反而是最短的一段。第3章是工具箱:属性类型(NOIR)决定哪些统计量有意义,可视化负责发现形状,检验负责判断差异是否只是抽样波动。
中间六章是方法家族,彼此有明确分工。 聚类(第4章)没有标签,只发现结构,因此 k 的选择、属性的正交性、量纲的统一是结果可信的前提。关联规则(第5章)同样无监督,但输出的是”一起出现”的描述,支持度管覆盖、置信度管条件占比、提升度与杠杆率才管”是否超出独立基线”。回归(第6章)开始有因变量:连续结果用线性回归,二值结果用逻辑回归,OLS 的四条误差假设支撑了 t 检验与区间估计,残差图是检验假设的第一现场。分类(第7章)从已标注样本学习,决策树用熵或基尼挑分裂点、用剪枝控制过拟合,朴素贝叶斯用条件独立假设换取可估计性,代价是相关属性被重复计权。时间序列(第8章)与前面几章的根本差别是观测不独立,因此必须先处理平稳性,再用 ACF/PACF 定阶,把 AR、I、MA 三个参数各自的作用分清。文本分析(第9章)把非结构化文本压成可计算对象:规范化、词袋、TFIDF、主题模型、情感判断,每一步都在用信息换可计算性。
后半本讲执行与交付。 MapReduce(第10章)的适用性由”分块是否可独立处理”决定,HDFS 用块与副本换取吞吐与容错,代价是 NameNode 的单点与元数据内存压力;数据库内分析(第11章)反过来把计算搬到数据旁,省掉搬运,但受限于数据库的算力与扩展方式。第12章回到人:先把范围收敛到试点,再把一套核心素材按受众改写成不同颗粒度的交付物,图表按数据关系选型,执行总结边做边写。
序与前言
读这本书之前,值得先记住序里的那个判断:大数据之所以值得投入,不是因为数据多,而是因为它内含尚未兑现的见解、理解力与预测能力,兑现这些潜力的手段被统称为数据科学。这个说法把重心从“存了多少数据”移到“有没有能力从里面看出模式与关系”。序同时给了一个克制的现实前提——受过系统统计训练的人很少,也很少有组织曾为探索性分析专门收集数据。缺口因此是双重的:既缺人,也缺把探索当成正经投入的组织习惯。这也解释了为什么后面每章都不只讲算法,还要讲生命周期与交付。
应对这种缺口,序提出的是教育策略层面的三件事:人、过程、工具与技术。三者是乘数关系而非加法关系:没有过程,分析是一次性的即兴探索,结论无法复现与交接;没有人,流程空转,遇到新问题无人能做判断;没有成熟工具,团队一小就撞上数据量与算力的天花板。把它当诊断表用,比当口号喊更有价值——项目反复延期或结论站不住时,先定位短板在哪一维。数据科学的三根支柱 但要注意,这个框架描述的是组织能力建设,不解释单个任务的成败;对具体任务,方法选择与数据质量才是决定项。
前言的部分更偏交代边界。它把收益分成企业与学术两条线:企业侧是效率、质量、个性化服务,最终落到满意度与利润率;学术侧是更丰富的分析成果与更深的洞察。两条线共用的机制是结构化与非结构化数据的实时获取与查询结合,这决定了后文为什么要讲 MapReduce 与数据库内分析,而不是只讲统计模型。读者分层也不是客套话,它其实是一张自评表:缺口在方法的人重点读高级分析方法各章,缺口在纵深的人不能跳过统计基础,缺口在路径的人先看清角色与技能结构。读者分层与收益路径 三类人的共同前提是动手实践,只读不练不会形成能力。
最后两项交代了这本书的血统:内容源自 EMC 学院联盟面向院校开放的课程体系,覆盖数据科学与大数据分析、信息存储与管理、云基础设施与服务、备份恢复系统与体系结构;本书同时被定位为数据科学专员认证的准备资料。这解释了全书为什么强调端到端工程、为什么工具章节与算法章节并重,也提醒读者:它是为“能胜任分析项目”写的,不是为考试提纲或理论综述写的。
原书依据 · 2 处
第1章 大数据分析介绍
大数据常被误解为“数据量很大”,但真正让传统技术失效的并不是行数。3V 之中,数量只决定存储与算力的预算,种类和速度才决定技术路线:结构异构让按行列建模的关系型方案失效,高速到达让“先入库再隔夜跑批”的节奏失效。麦肯锡 2011 年的定义把这一点说得很直白——大数据之所以是大数据,是因为它必须采用新的技术架构和分析方法才能挖掘价值。因此,判断一个项目是否属于大数据,不该看 GB 数,而该看现有架构在可接受的时间与成本内是否还能产出洞见。大数据的三个V特征
结构是第二条分界线。结构化、半结构化、准结构化、非结构化并不是四个并列的标签,而是一条“预定义程度”递减的谱:关系表有严格模式,XML 有可解析的模式,点击流只有可用规则整理的痕迹,文本、图像、音视频则没有固有结构。真实系统几乎总是混合的——呼叫中心的结构化呼叫特征与非结构化录音、工单共存,后者往往藏着更多洞见。原文估计新增数据中八成以上是非结构化,这解释了为什么分布式计算与大规模并行处理会成为默认选项。数据结构的四个层次
存储侧的矛盾来自治理目标与分析目标不一致。电子表格让业务人员自建逻辑,代价是“真相有许多版本”;企业数据仓库把数据集中起来,用安全、备份、故障切换和单一官方数据源换取了准确性,但入仓前的理解、结构化、标准化与检查点,以及变更模式的审批流程,把探索性分析挤到了体系之外。分析员于是批量取数、在本地用 R 或 Excel 做内存分析,只能抽样,模型精度受限;部门集市与影子文件系统填补了空白,却失去同步、备份与安全约束。这不是管理不善,而是“准确”与“敏捷”的结构性张力。企业数据仓库的两难
分析沙盘是对这条张力的折中:仍由 IT 管理,但设计目标改为支持高强度实验,放在非生产环境,容纳原始数据、文本与其他非结构化数据,并常用数据库内处理把计算推到数据所在的库内,省去反复搬运。它降低却没有消除影子系统的成本与风险,也不会自动带来治理——缺少口径约定和有经验的用户,沙盘仍会退化成新的孤岛。可以说,沙盘是组织为“允许试错”付出的基础设施代价。分析沙盘:受控的探索空间
有了数据与场所,还要区分分析的类型。商业智能回答过去与现在的“何时、何地”,依赖高度结构化的数据出报表、仪表板与查询;数据科学面向未来,用时间序列、场景优化、分类等方法回答“如何、为何”,可以吃多源与非常规数据。两者不是新旧替代,而是分工:BI 守住经营监控的确定性,数据科学处理开放式决策的不确定性。选型应从这个目标差异出发,而不是从工具热度出发。商业智能与数据科学的分野
本章其余要点:大数据生态的四类参与者、三类分析人才的分工、数据科学家做什么、用购物记录推断怀孕、Hadoop 为何适合大数据。
第2章 数据分析生命周期
数据分析项目的难点不在于算得快,而在于问题常常一开始就没问对。本章给出的生命周期,本质是一套允许犯错的流程:六个阶段不是瀑布,而是可以回退的环。团队在建模时发现字段缺失、在沟通时发现假设问错,都可以退回上一阶段甚至回到起点,这种回流由新信息驱动,属于正常状态而非管理失控。六阶段不是直线而是循环这张卡把六个阶段与回退路径画在一起,用来看清项目真实的推进方式。与之配套的是检查点而非硬门槛:每阶段只问一句“信息够不够进入下一步”,例如发现阶段的过关标志是能写出一份可交同行评审的分析计划。
流程能跑起来的前提是人。业务用户、发起人、项目经理、商业智能分析师、数据库管理员、数据工程师、数据科学家这七类角色各有立场,人数却可以压缩,小团队三人分担七种职责同样成立。真正不能省的是业务知识与技术能力的平衡,以及发起人对需求的把关。本章反复提醒,发起人带来的往往是一个预设方案而不是需求,团队的价值在于保持客观、把方案还原成问题,并把成功标准与失败标准一起写下来。有了失败标准,停下来才是事先约定的决定,而不是临阵退缩。成功标准之外还要失败线讲的正是这个容易被忽略的对称设计。
六个阶段中最费时的是数据准备,通常超过项目一半时间,也最容易被轻视。分析沙箱必须先与生产库隔离,数据以副本进入;导入方式上本章主张先加载后转换,因为清洗常常会顺手删掉真正有价值的异常值——欺诈检测里那些异常值恰恰是信号。先加载后转换的ELT把这个取舍讲成了可迁移的判断:原始形态本身就是资产。治理阶段则要决定保留什么、丢弃什么,这类决定必须由团队共同做出,一个人拍板往往导致后期回头抢救已被删除的数据。
进入模型阶段,重点从数据质量转向变量关系。团队要抓最本质的预测因子,而不是把所有“看起来相关”的变量都塞进模型;同时要分清目标是黑盒预测还是因果解释,前者只需相关性稳定,后者要求模型可解释并能用不同数据集做压力测试。只留最本质的预测因子说明了变量收敛与共线性警惕的必要性。模型建立阶段用训练集拟合、测试集验证,两者的独立性决定了评估是否可信。
最后两个阶段处理的是“结果如何被接受”。项目没有做出预期结果,不应记成失败,而应表述为数据还不足以验证或否定假设;这要求分析足够深、表达足够诚实,既不能敷衍了事,也不能硬凑出不存在的结论。失败也是分析结论提醒的就是这两种偏差。实施阶段先用试点在小范围生产环境里验证性能与约束,再全面推广,并建立精度监控与出界报警。GINA案例把这套流程走完,用社交图谱在创新数据里找出了被口口相传忽略的科克市创新群体,说明流程并未束缚探索,反而让探索的结论站得住。
本章其余要点:七种角色,人数可变、别急着抓数据、发起人的方案不是需求、初始假设是分析的原型、沙箱要和生产库隔离、数据治理是保留与丢弃的取舍、可视化探索:先总览再放大、训练集与测试集的分工、按受众分层交付成果、GINA用社交图谱找创新者。
原书依据 · 15 处
- 第2章 数据分析生命周期 · 查看原书依据
- 第2章 数据分析生命周期 · 查看原书依据
- 第2章 数据分析生命周期 · 查看原书依据
- 第2章 数据分析生命周期 · 查看原书依据
- 第2章 数据分析生命周期 · 查看原书依据
- 第2章 数据分析生命周期 · 查看原书依据
- 第2章 数据分析生命周期 · 查看原书依据
- 第2章 数据分析生命周期 · 查看原书依据
- 第2章 数据分析生命周期 · 查看原书依据
- 第2章 数据分析生命周期 · 查看原书依据
- 第2章 数据分析生命周期 · 查看原书依据
- 第2章 数据分析生命周期 · 查看原书依据
- 第2章 数据分析生命周期 · 查看原书依据
- 第2章 数据分析生命周期 · 查看原书依据
- 第2章 数据分析生命周期 · 查看原书依据
第3章 使用R进行基本数据分析
这一章真正的主题不是 R 语法,而是建模之前先把数据看清。开篇那段脚本把顺序摆得很清楚:读入 CSV、用 head() 与前几行核对、用 summary() 看每列的极值和四分位数、画散点图判断关系形状、拟合线性模型、再看系数与残差直方图。这个顺序有依赖关系,检查不充分就建模,错误会一路带进结论。把这条骨架记住,后面章节的聚类、回归、分类不过是替换中间环节,外围动作仍是读入、核对、画图、建模、诊断,这条骨架见 R分析脚本的标准流程。
数据结构的讲解服务于同一个目的:知道手里这一列到底是什么。向量只能装同一种值,数组和矩阵是给向量加维度,数据帧则是等长变量的列表——它的 class 是 data.frame,typeof 却是 list,所以单括号取到的是列表片段,双括号才取到对象本身。与结构同等重要的是属性类型:定类只能判等,定序能比大小,定距能加减,定比才能乘除。四种类型不是术语游戏,而是决定哪些统计量有意义;把邮政编码当数值求均值,或把定类变量直接放进回归,都是在这一步出错,四种类型的分工见 四种属性类型与可用运算。
可视化被放在统计之前,理由由安斯库姆四重奏给出:四组数据的均值、方差、相关系数、回归直线几乎完全一致,散点图却显示一组是直线、一组是曲线、一组被一个离群点撑着、一组只有两个 X 取值。汇总统计量只描述二阶矩,对形状、离群点、多峰结构不敏感,安斯库姆四重奏的警示 就是为此而设。因此探索阶段先画图,再决定用什么方法。图形同时也是查脏数据的手段:年龄直方图在 0 与负值处的巨大峰值提示缺失值被编码成了合法数字,按揭年份在 10 年处的异常堆积提示档位被截断成“10 年及以上”,订单数最少为 1 则说明样本只覆盖活跃客户。这些异常靠 is.na() 检查不出来,只能靠分布形状加领域知识判断。
统计部分的主线是原假设框架:先假设没有差异,再看数据是否足以推翻它,见 假设检验的原假设框架。两组均值比较要先确认样本独立随机、分布近似正态、方差是否相等,据此在学生 t 检验与 Welch t 检验之间选择;正态假设不成立且变换无效时,改用基于秩的 Wilcoxon 秩和检验,它更稳健但会损失数值信息。多组比较不能反复做 t 检验,否则 I 型错误随检验次数累积,这正是 ANOVA与Tukey事后比较 要解决的问题:先用 F 统计量回答是否存在差异,显著后再用 TukeyHSD 做成对比较并控制族错误率。
最后一个容易被忽略的边界是受众与代价。探索用图追求信息密度,演示用图追求一眼读懂,同一批账户余额数据,对数密度图给分析师看,按金额分桶的直方图给业务方看,而分桶边界的选择又会直接改变读者对“最集中区间”的认知。统计结论同样有边界:样本足够大时几乎任何微小效应都会显著,p 值只回答是否可能出于偶然,差异有多大、值不值得行动,仍要看效应量与置信区间。
本章其余要点:导入函数的默认值差异、向量是R的基本数据单位、数据帧是等长变量的列表、因子承载分类与次序、列联表与卡方独立性检验、描述性统计与apply族、脏数据的三种典型信号、缺失值的检测与处理、单变量图形的选型与读法、直方图、密度图与对数刻度、散点图的五个视觉通道、箱线图的读法、蜂巢图应对数据重叠、探索用图与演示用图、学生t检验与置信区间、Welch t检验的适用场景、Wilcoxon秩和检验、两类错误、功效与样本量、检验方法的选择路径。
原书依据 · 24 处
- 第3章 使用R进行基本数据分析 · 查看原书依据
- 第3章 使用R进行基本数据分析 · 查看原书依据
- 第3章 使用R进行基本数据分析 · 查看原书依据
- 第3章 使用R进行基本数据分析 · 查看原书依据
- 第3章 使用R进行基本数据分析 · 查看原书依据
- 第3章 使用R进行基本数据分析 · 查看原书依据
- 第3章 使用R进行基本数据分析 · 查看原书依据
- 第3章 使用R进行基本数据分析 · 查看原书依据
- 第3章 使用R进行基本数据分析 · 查看原书依据
- 第3章 使用R进行基本数据分析 · 查看原书依据
- 第3章 使用R进行基本数据分析 · 查看原书依据
- 第3章 使用R进行基本数据分析 · 查看原书依据
- 第3章 使用R进行基本数据分析 · 查看原书依据
- 第3章 使用R进行基本数据分析 · 查看原书依据
- 第3章 使用R进行基本数据分析 · 查看原书依据
- 第3章 使用R进行基本数据分析 · 查看原书依据
- 第3章 使用R进行基本数据分析 · 查看原书依据
- 第3章 使用R进行基本数据分析 · 查看原书依据
- 第3章 使用R进行基本数据分析 · 查看原书依据
- 第3章 使用R进行基本数据分析 · 查看原书依据
- 第3章 使用R进行基本数据分析 · 查看原书依据
- 第3章 使用R进行基本数据分析 · 查看原书依据
- 第3章 使用R进行基本数据分析 · 查看原书依据
- 第3章 使用R进行基本数据分析 · 查看原书依据
第4章 高级分析理论与方法:聚类
聚类处理的是一类没有标签的数据。给定一批对象和它们的若干属性,算法要找出哪些对象天然地靠在一起。这里没有标准答案可以对照:簇的个数、边界、含义都要由分析者事后赋予。判断一次聚类是否可信,不能只看簇是否被算出来,而要看属性选得对不对、尺度是否可比、k 是否有依据。这也解释了为什么本章在讲完算法之后,把大量篇幅留给注意事项而不是公式推导。
k 均值的机制可以用一句话概括:分配与重算交替进行。每个点归到最近的质心,质心随即移动到本簇的均值位置,边界因此一轮轮调整,直到稳定。k均值的四步迭代 展示的正是这个循环,以及它的两个终止条件——质心不再移动,或归属在相邻两轮之间来回振荡。机制简单带来的代价是结果依赖初始位置与 k:换一组初始质心,可能落到另一个局部解,所以要多次重启并比较 WSS。
k 的确定没有公式,只有启发。用WSS拐点选k 的做法是把簇内距离平方和随 k 的变化画出来,找下降明显变缓的位置;多一个簇若不能显著降低 WSS,就不值得增加。但曲线只是候选,属性少时还要把数据画出来看。聚类结果的三问诊断 提供了一套目视检验:簇之间是否分得开、有没有只剩几个点的小簇、质心是否挨得太近。三个问题里任何一个为否,都提示当前 k 只是把连续分布硬切开。
很多失败不在算法,而在进算法之前。量纲不同,簇也不同 说明同一批病人,身高用厘米还是米,会得到不同的簇——距离由量级大的属性主导,除以标准差可以把各属性拉回同一起跑线;长尾的收入取对数,则等于重新定义“远近”。属性本身也要精简:高度相关的变量只留一两个,否则等于给某个维度重复加权。
当“数值”和“均值有意义”这两个前提不成立时必须换方法。k均值之外的四类方法 给出四条路:分类属性用 k-模式,以取值差异计数、以众数为中心;要求簇心是真实对象用 PAM;形状不规则用密度聚类;想看多粒度结构用层次凝聚。这些方法并不比 k 均值更高级,只是各自换掉了一个不成立的假设,代价是计算更重或结果更难向业务方解释。本章的落点不是记住某个算法,而是养成一套顺序:先看数据形态和业务问题,再定相似性、中心与 k,最后用图和常识验收。一套聚类结果能写进报告的前提,是分析者说得出每个簇是什么人、为什么这样分,而不只是报出 WSS 降了多少。
第5章 高级分析理论与方法:关联规则
关联规则处理的是一类很朴素的问题:在一大堆交易里,哪些东西总是结伴出现。每笔交易被看作一个项集,含 k 个商品就是 k 项集;算法要找的是反复共现的组合,再把组合拆成 X → Y 的规则,左边前件、右边后件,用置信度说明这条规则在多大比例的适用场合成立。这里没有标签也没有因变量,方法只描述数据里已经存在的规律,不预测某个客户下一步买什么——把它当预测模型用,是最常见的误用。也正因为输出是一堆规则而不是一个模型,它天然需要人来筛。
搜索这一侧的核心是支持度。它等于含某个项集的交易占全部交易的比例,写进算法里的作用只有一个:决定哪些项集能活到下一轮。最小支持度是人在建模前就定下的先验,定高了只剩人人皆知的搭配,定低了候选集爆炸、跑不完。支持度是交易的覆盖率 讲清了它只衡量覆盖面、与箭头方向无关这一点。在此之上,Apriori 依靠向下封闭性工作:频繁项集的子集必然频繁,所以子集不频繁时整枝超集都可以放弃。Apriori逐层生成频繁项集 把这个逐层生长与修剪的循环画了出来,值得记住的是它的代价——每验证一层都要把整个交易库扫一遍,层数乘以单次扫描成本,就是它随数据规模变慢的原因,后来的分区、采样、交易压缩等手段都在减少扫描或提前剪枝。
评估这一侧才是判断力的所在。置信度看起来最直观,却有一个结构性缺陷:它只算共现占前件的比例,不问后件本身有多普遍。如果九成顾客都买 Y,那么随便什么 X 指向 Y 的置信度都不会低,规则看似很强,实际上什么都没说明。置信度为何偏爱巧合 用 95% 与 90% 的例子说明了这种失效方式。修补办法是引入独立基线:提升度用实际共现除以两者的期望共现,以 1 为界;杠杆率用同一个差值,以 0 为界。前者便于跨数据集比较强度,后者能直接折算成多出来的交易笔数,但两者在低频项集上都会失真——共现只有几笔也能算出很高的提升度,杠杆率则趋近于零,看起来像没关系。所以任何一条规则都不该由单一指标定生死。
四种度量各管一段 把这条流水线说清楚了:支持度在搜索阶段裁剪项集,置信度在规则阶段筛掉不常成立的方向,提升度与杠杆率在评估阶段剔除巧合,三者缺一,结果就会偏向某一类错误。再往后还有一层无法量化的判断:统计上显著的规则可能只是常识,纸和笔的搭配人人都知道,写进报告毫无价值;统计上平平无奇但反直觉的规则,反而可能指向一个没人想到的交叉销售机会。统计有趣不等于业务有用 说的就是这件事,它必须借助领域专家,也必须在业务目标下裁决,而不是由阈值自动完成。
把这一章放回全书,它的位置很清楚:与第4章的聚类同属无监督的探索工具,一个找相似的样本,一个找共现的特征;而第6章的回归开始引入因变量,从描述关系转向预测数值。理解了这条分界,就不会拿关联规则去回答“该给这个用户推荐什么”之外的因果问题——它连“一起买”是否等于“因为买了才买”都不保证。
本章其余要点:关联规则:描述而非预测、项集与k项集、最小支持度切出频繁项集、Apriori属性:子集必频繁、置信度是条件占比、提升度:对照独立基线、杠杆率:用差值量增量、Apriori的扫描代价与提速。
原书依据 · 13 处
- 第5章 高级分析理论与方法:关联规则 · 查看原书依据
- 第5章 高级分析理论与方法:关联规则 · 查看原书依据
- 第5章 高级分析理论与方法:关联规则 · 查看原书依据
- 第5章 高级分析理论与方法:关联规则 · 查看原书依据
- 第5章 高级分析理论与方法:关联规则 · 查看原书依据
- 第5章 高级分析理论与方法:关联规则 · 查看原书依据
- 第5章 高级分析理论与方法:关联规则 · 查看原书依据
- 第5章 高级分析理论与方法:关联规则 · 查看原书依据
- 第5章 高级分析理论与方法:关联规则 · 查看原书依据
- 第5章 高级分析理论与方法:关联规则 · 查看原书依据
- 第5章 高级分析理论与方法:关联规则 · 查看原书依据
- 第5章 高级分析理论与方法:关联规则 · 查看原书依据
- 第5章 高级分析理论与方法:关联规则 · 查看原书依据
第6章 高级分析理论与方法:回归
回归要回答的问题很朴素:一个结果变量如何随一组输入变量变化。但它有两个分支,分支的依据不是偏好,而是结果变量的取值域。结果连续,用线性回归,模型输出任意实数,再把个体差异交给误差项;结果是二值标签,线性模型会给出小于 0 或大于 1 的值,无法当概率用,于是先算一个实数得分,再用逻辑函数压到 0 到 1,这就是 逻辑回归如何把概率拉直 所讲的构造。理解这一点,才能明白为什么同样是“回归”,一个用最小二乘、一个用极大似然。
线性回归的全部技术细节都围绕 OLS:让残差平方和最小 展开。所谓拟合,就是在无数条可能的直线中挑一条,使各观测点到它的垂直距离平方和最小;平方既避免正负抵消,也让极端点拥有更大话语权,这解释了为什么一个录入错误就能改变整条线的斜率。但系数估计出来只是第一步,要把它用于判断,还需要误差独立、零均值、等方差且正态这条附加条件:有了它才有 t 检验、F 检验和各类区间。务必分清——最小二乘本身不要求正态,需要正态的是推断环节。
正因为推断依赖假设,诊断就不是可选项。残差图是诊断第一现场 给出了一条判读路径:残差对拟合值作图,弯曲说明函数形式不对,整体偏离零线说明漏了变量,喇叭形说明方差不恒定,只有均匀散布才谈得上继续检查正态性。顺序很重要,形态没修好时,正态性检验的结论本身也不可靠。与之配套的是对拟合优度的警惕:R² 只升不降,加噪声也能变好,所以要看按参数个数惩罚的调整 R²,并用 N 重交叉验证直接测泛化误差。
逻辑回归的评估换了一套语言,但逻辑相同:残差偏差与无效偏差之差近似服从卡方分布,本质是在问“多出来的这些变量,是否真的让模型更可能产生眼前这份数据”;伪 R² 只是把这个差值标准化,不能与线性回归的 R² 直接比大小。当模型被当作分类器使用时,ROC 曲线与阈值取舍 把问题推到决策层:阈值降低会同时抬高真阳性率与假阳性率,曲线越靠左上越好,而最终取哪个点取决于漏报与误报哪个代价更高——这是业务判断,不是统计结论。
本章最后划出的边界同样重要。预测得准不等于可以推断因果,看牙医与心脏病的关系就是反例;把模型外推到训练数据没有覆盖的输入范围,线性关系很可能不再成立;而当输入变量彼此高度相关时,多重共线性:重叠的代价 会让系数绝对值膨胀、符号翻转,此时删变量、合成变量(如 BMI)或改用带惩罚的岭回归与套索回归,都比硬解释系数更诚实。整章反复强调的是同一件事:拟合可以交给软件,选变量、验假设、定粒度、说清适用范围,才是分析者真正的工作。
本章其余要点:相关不等于因果、正态误差假设换来什么、分类变量要拆成哑变量、用 t 检验决定变量去留、R² 高不等于模型好、置信区间与预测区间之别、偏差与似然率检验、岭回归与套索的惩罚。
原书依据 · 13 处
- 第6章 高级分析理论与方法:回归 · 查看原书依据
- 第6章 高级分析理论与方法:回归 · 查看原书依据
- 第6章 高级分析理论与方法:回归 · 查看原书依据
- 第6章 高级分析理论与方法:回归 · 查看原书依据
- 第6章 高级分析理论与方法:回归 · 查看原书依据
- 第6章 高级分析理论与方法:回归 · 查看原书依据
- 第6章 高级分析理论与方法:回归 · 查看原书依据
- 第6章 高级分析理论与方法:回归 · 查看原书依据
- 第6章 高级分析理论与方法:回归 · 查看原书依据
- 第6章 高级分析理论与方法:回归 · 查看原书依据
- 第6章 高级分析理论与方法:回归 · 查看原书依据
- 第6章 高级分析理论与方法:回归 · 查看原书依据
- 第6章 高级分析理论与方法:回归 · 查看原书依据
第7章 高级分析理论与方法:分类
分类把学习问题落在“有答案的样本”上:训练集的每条记录都带类别标签,算法归纳属性与标签之间的对应关系,再把这套关系用于未见过的记录。它与聚类最容易被混淆,区别不在算法而在问题设定——聚类的标签是事后命名的,分类的标签在训练之前就已给定。也是在这个意义上,分类只能分配训练中见过的标签,遇到全新类别无能为力;标签本身有偏或正负样本极度失衡时,分类器学到的往往只是多数类的先验。
决策树是本章的主线。它把判定写成树形:内部节点测试一个属性,分支是测试结果,叶子给出类别,根到叶的一条路径就是一条 if-then 规则,因此结果可以被领域专家逐条核对。选哪个属性分裂由杂质度量决定,核心是熵衡量节点的杂质:它在两类各半时达到最大,在节点完全纯净时为零;条件熵是按属性切开后各子集熵的加权平均,基础熵减去它就是信息增益。这一步的计算细节值得亲手算一遍,因为增益的绝对值常常很小,真正有意义的是属性之间的相对高低,而且信息增益天然偏好取值多的属性。CART 换成基尼指数,不做对数只做平方和,先长出一串子树再用交叉验证挑误分类代价最低的一棵;连续属性则先排序,取相邻取值的中点作为候选切点。这些准则共同的局限是只看类别分布、不看误判代价,所以它们选出的是“更纯”的分裂,而不是“更值钱”的分裂。
分裂过程是贪心的,每层只比较当前哪个属性最好,不回溯也不做全局搜索。这种策略让决策树可以处理高维数据,代价是一次坏分裂无法撤销:数据被切得零散,后续节点样本太少,树被迫长深,最终把噪声也学进去。过度拟合的典型信号是层数过多、许多节点只含极少数样本,训练误差很低而新数据上表现很差。治理有两条路:提前停止生长,或者长成之后剪枝抑制过度拟合。剪枝自下而上删除贡献不足的子树,错误率降低剪枝用验证集比较剪与不剪的错误率,只要不升高就剪;它的目标从来不是让训练误差最小,而是让泛化误差最小。
朴素贝叶斯换了一条完全不同的路,朴素贝叶斯的独立假设是它的枢纽。贝叶斯定理把难算的 P(类别|属性) 换成容易从训练集统计的 P(属性|类别) 与 P(类别)。真正让它可用的是两项简化:给定类别时属性条件独立,以及忽略对所有类别都相同的分母。前者把需要估计的参数从属性组合数降到属性数乘取值数,是它能在高维文本上工作的根本原因;后者只影响绝对数值,不影响比较结果。代价同样来自这个假设:属性真相关时,同一份证据被连乘两次,后验被推向极端,标签也许还对,概率却已经不可信。零概率是另一个致命点,一个没出现过的取值会让整类得分归零,所以要用拉普拉斯平滑给不可见事件一个小正概率,取值很多时则把加一改成可调的 ε。
最后是评价。混淆矩阵把预测与实际的四种组合摆成一张表,正确都在主对角线,任何非零的非对角元素都是错误,一眼就能看出错在哪一侧。由四格派生出精确度、TPR、FPR、FNR、准确率与召回率,这层换算就是混淆矩阵到各指标,它们不是彼此独立的分数,而是同一组计数的不同比值。精确度的盲区在类别不平衡时暴露得最彻底:银行案例里 90% 的精确度,对应的是 11 个签约客户漏掉 8 个。至于哪种错误更该避免,答案不在算法里,而在业务对误报与漏报的容忍度上。也正因为单一阈值只能给出一个工作点,才有ROC曲线与AUC所刻画的曲线:横轴 FPR、纵轴 TPR,扫过所有阈值,对角线是随机猜测,左上角是完美分离,AUC 落在 0.5 到 1 之间,用于跨模型粗筛。AUC 高不等于可用,最终仍要回到具体阈值下的混淆矩阵。
本章其余要点:分类靠已标注样本学习、决策树的节点与分支、信息增益挑选分裂属性、基尼指数与CART、连续属性按中点切分、贪心分裂的局部最优、无关变量拖累决策树、决策树的构建流程、基础率压低阳性后验、零概率与拉普拉斯平滑、关联变量被重复计权、高精确度也会误导、错误代价由业务决定。
原书依据 · 18 处
- 第7章 高级分析理论与方法:分类 · 查看原书依据
- 第7章 高级分析理论与方法:分类 · 查看原书依据
- 第7章 高级分析理论与方法:分类 · 查看原书依据
- 第7章 高级分析理论与方法:分类 · 查看原书依据
- 第7章 高级分析理论与方法:分类 · 查看原书依据
- 第7章 高级分析理论与方法:分类 · 查看原书依据
- 第7章 高级分析理论与方法:分类 · 查看原书依据
- 第7章 高级分析理论与方法:分类 · 查看原书依据
- 第7章 高级分析理论与方法:分类 · 查看原书依据
- 第7章 高级分析理论与方法:分类 · 查看原书依据
- 第7章 高级分析理论与方法:分类 · 查看原书依据
- 第7章 高级分析理论与方法:分类 · 查看原书依据
- 第7章 高级分析理论与方法:分类 · 查看原书依据
- 第7章 高级分析理论与方法:分类 · 查看原书依据
- 第7章 高级分析理论与方法:分类 · 查看原书依据
- 第7章 高级分析理论与方法:分类 · 查看原书依据
- 第7章 高级分析理论与方法:分类 · 查看原书依据
- 第7章 高级分析理论与方法:分类 · 查看原书依据
第8章 高级分析理论与方法:时间序列分析
时间序列是一串按相等时间间隔排列的有序观测,比如十二年内每月国际航空乘客数共 144 个值。它与横截面数据的根本差别在于观测不独立:今天的需求里含着昨天的余温。因此分析的落点不是估计总体参数,而是找出这条轨迹的生成规则,再拿规则外推。规则被拆成四块——趋势、季节效应、周期与随机性。趋势是长期移动方向;季节效应与历法绑定、周期固定;周期则不那么固定,如零售随经济繁荣与萧条起伏;随机性里既有无从建模的噪声,也可能藏着可建模的底层结构。Box-Jenkins 把这件工作组织成闭环:识别并处理趋势与季节、估计参数、评估模型,不过关就退回第一步。整章其实就是把这个闭环在 ARIMA 上走一遍,流程见 ARIMA建模的闭环流程。
闭环的第一道关是平稳性。AR 与 MA 的系数都是与时间无关的常数,只有均值恒定、方差有限、协方差只依赖间隔 h 的序列,同一组参数才能贯穿所有时刻。第三条件允许协方差非零,序列可以有记忆,只是记忆强度只跟隔多远有关;这比“独立”宽松,也比“各时刻同分布”的严平稳宽松,属于弱平稳。判断靠时序图与 ACF 衰减速度:有趋势先回归去趋势或差分,有季节先做季节差分。差分把水平换成变化量,做几次就是 d;但每差一次都放大高频噪声,图 8.10 中二次差分后方差明显变宽,说明过度差分会让模型更难拟合。条件与边界见 平稳序列的三个条件。
序列摆平之后才轮到看自相关。ACF 把相隔 h 期的协方差用方差归一化,取值落在 -1 到 1,ACF(0) 恒为 1;图 8.3 中 lag 1 约 0.9、lag 2 约 0.8,直到 lag 8 都大于 0.6,于是八阶自回归成为候选。读图看形状:缓慢拖尾意味着强持续性,某点之后突然落回零意味着记忆被切断;95% 虚线外的点才算信号,正负值都取绝对值,细节见 ACF图怎么读。但 ACF 算的是总相关,包含经由中间时点传递的间接影响:AR(1) 反复代入后,lag 2 的相关约为系数平方,仍然很高。所以直接按 ACF 定阶会越定越高,必须用 PACF 把中间项的影响回归掉,只看净相关。
PACF 的做法是先剔除中间项,剩下的才是直接关联,h 为 1 时两者相同。汽油产量数据在 lag 2 后骤降,指向 AR(2),而真实生成过程正是 0.6 倍前一期加 0.35 倍前两期。MA 的图景恰好对调:当前值由当前与过去 q 个白噪声线性组合而成,随机冲击直接进入当期,超过 q 期后不再共享冲击,故 ACF 在 q 后截断。于是有了判读口诀:AR 的 ACF 拖尾、PACF 截断,MA 反之,两者都拖尾则考虑 ARMA,参见 PACF与AR定阶。把三件事合成记号就是 ARIMA(p,d,q):p 管观测值惯性,d 管差分次数,q 管冲击余波;d 为零时退化为 ARMA;有季节模式再叠乘式季节项,s 取 12、52、7。分工与季节记号见 ARIMA三参数各管什么。
参数用最大似然估计,候选模型靠 AIC、AICc、BIC 比较,三者都对参数个数施加惩罚,越小越好;汽油产量中 (0,1,1)×(1,0,0)12 三项全部最低,与读图结论一致。之后还要查残差:ACF 与 PACF 不应再有越界点,直方图与 Q-Q 图应接近正态,方差应恒定,否则先做对数变换重拟合;大 lag 上偶发越界通常算巧合,追进去就是过拟合。最后是边界:ARIMA 只需一条历史序列,不必预测 GDP、油价等外生变量,代价是无法说明哪些因素在起作用,给不出因果;火灾、政策或消费结构变化会让长期预测失真,所以只宜短期。ARMAX、GARCH、卡尔曼滤波、VARIMA 只被点名,分别对应外生输入、波动率、实时状态与多序列互影响。
本章其余要点:MA模型为何会截断、差分的次数与过度差分、用信息准则比较模型。
第9章 高级分析理论与方法:文本分析
文本分析处理的是没有字段的自由文本,因此它首先要回答一个工程问题:怎样把文字变成可计算的数值,同时不把要用的信息一起扔掉。开篇用一本只用 50 个词写成的童书说明维度问题,再用 Google N-Grams 的百万词表说明真实语料的规模,随后指出数据本身从纯文本到 HTML、日志、JSON 混杂,结构化程度参差。这两个先天性困难决定了后续所有方法都围绕降维与抽取展开,也解释了为什么预处理常常比建模更费时间。要理解这一章的组织方式,可以把 六步文本分析流水线 当作骨架:收集、表示、TFIDF 加权、主题分类、情感判断、可视化汇报。它对应数据分析生命周期的前五个阶段,但并非一次走完,主题结果不满意往往要回到表示层改分词,情感结果异常则要回到收集层补样本。把流水线拆开看,每一道工序都有独立的失败模式,这也让人容易定位问题出在取数、表示还是模型。
表示层的核心是 从原文到词袋向量 这条链路。分词、大小写转换、去停用词、词形归并,每一步都在做合并或丢弃,都在用信息换维度;词袋则进一步放弃词序,换来简单、稀疏、可扩展的向量。这里最容易被低估的是规范化的破坏力:按标点分词会把 can’t 拆成 can 和 t,把否定极性弄丢;统一小写会让 General Motors 散架,让 WHO 退化成疑问代词。判断标准不是规范得干净,而是任务是否还需要被丢掉的那份信息。
加权层是本章的技术核心。词频只看单篇文档,于是 the、and、of 永远排第一,领域通用词也会挡住真正的关键词;TFIDF的合成与边界 把文档内的频率与跨文档的稀缺度相乘,要求这篇里常见、别处少见同时成立,才给高分。这个设计不需要任何语义知识,也能随文档增删增量更新,所以特别适合检索与动态内容。它的边界同样清楚:同义词、多义词、否定、语序都处理不了,而且只能给出词级线性权重,揭示不了文档内与文档间的统计结构。IDF 本身还有一个常被忽略的细节:文档总数固定时它只是文档频率的单调函数,文档频率相同的词会得到完全相同的分数,布朗语料库里的 sunbonnet 与 narcotic 就是例子。为了补上结构这一层,主题是词汇上的分布 把主题定义成词在固定词汇上的概率分布,把文档看成若干主题按不同比例的混合,于是输出从单个标签变成比例向量,也不需要任何先验标注。LDA 的三条假设则说明这条路线的代价:词汇固定、主题数预设、每篇文档是主题的随机混合,现实中只有文档可见,主题、比例和每个词的主题归属都要靠后验推断;主题数选错会把题材切碎或压平,主题叫什么仍要人来命名。
最后一层是判断与解释。情感分析的两条路线 代表两种知识来源:词典法把人写的规则变成分数,冷启动快、可解释,但否定、反讽和领域极性会让它停在六成准确度;监督学习从标注语料里估权重,能自动适配语料特有的线索词,准确度约八成,代价是标注成本和对同分布的依赖。评估时必须把准确率与召回率并看:影评例子中召回率接近 0.98,准确率却只有 0.66,混淆矩阵里的大量误判正说明模型偏向正类。收尾的可视化不产生结论,它的作用是提出假设,让分析师回到文本里核实,这也是整章反复强调的分工:表示与加权决定可靠性,解释与核实仍由人完成。
本章其余要点:文本难在高维与无结构、语料库是静态知识库、句法分析与词性标注、词形还原与词干提取、分词与大小写的取舍、词袋法为何丢掉顺序、词频的三种口径、只靠词频会高估通用词、IDF的构造与盲点、LDA的三条硬假设、情感分类器的评估与迁移、单词云与领域停止词。
原书依据 · 17 处
- 第9章 高级分析理论与方法:文本分析 · 查看原书依据
- 第9章 高级分析理论与方法:文本分析 · 查看原书依据
- 第9章 高级分析理论与方法:文本分析 · 查看原书依据
- 第9章 高级分析理论与方法:文本分析 · 查看原书依据
- 第9章 高级分析理论与方法:文本分析 · 查看原书依据
- 第9章 高级分析理论与方法:文本分析 · 查看原书依据
- 第9章 高级分析理论与方法:文本分析 · 查看原书依据
- 第9章 高级分析理论与方法:文本分析 · 查看原书依据
- 第9章 高级分析理论与方法:文本分析 · 查看原书依据
- 第9章 高级分析理论与方法:文本分析 · 查看原书依据
- 第9章 高级分析理论与方法:文本分析 · 查看原书依据
- 第9章 高级分析理论与方法:文本分析 · 查看原书依据
- 第9章 高级分析理论与方法:文本分析 · 查看原书依据
- 第9章 高级分析理论与方法:文本分析 · 查看原书依据
- 第9章 高级分析理论与方法:文本分析 · 查看原书依据
- 第9章 高级分析理论与方法:文本分析 · 查看原书依据
- 第9章 高级分析理论与方法:文本分析 · 查看原书依据
第10章 高级分析技术与工具:MapReduce和Hadoop
这一章处理的是”分析方法之外”的问题:数据太大、太散、太不像表格时,前面几章的聚类、分类、回归怎么落地。答案是改变计算的场所,把处理搬到数据所在的机器上,用许多普通机器分担负载。MapReduce 给出的抽象极小:Map 逐块处理并输出中间键值对,Reduce 按键合并出最终结果;它只规定契约,不管实现。真正困难的是运行时——任务调度、错误恢复、输入分布、中间结果搬运、结果落盘,Hadoop 的价值就是把这些脏活变成框架的默认行为。MapReduce 的两步契约 这套契约的约束也很硬:Map 看不到全局,Reduce 只看得到一个键下的值,所以业务逻辑必须被改写成”分块独立算、再按键合并”,凡是需要跨键比较或反复迭代的步骤,都得串接多个作业。在此之前,它先按格式一致性把数据分成结构化、半结构化、准结构化、非结构化四档:结构化并不等于免预处理,列里仍可能藏着文本与图片;反过来,面向非结构化的工具也能处理规整数据,判断依据是能否切成独立分块,而不是数据有多脏。这条谱系决定了预处理的工作量,也决定了后面该选批处理还是实时存储。
存储侧是 HDFS。文件切成 64MB 的块,默认三副本跨机架放置,NameNode 记元数据、DataNode 存块,客户端问到块位置后直连读取,数据流不经过 NameNode。块大小与副本数这两个参数同时决定并行度、容错能力与存储成本:块大则并行粒度粗,块小则任务与元数据开销上升,三副本则意味着三倍存储换一次机器故障的免疫。NameNode 常驻内存带来性能,也带来单点故障;Secondary NameNode 只帮忙合并编辑日志,不能接班,真正的冗余要靠高可用配置。HDFS 的块与三副本
计算侧的关键在 shuffle。map 的输出被分区、按键排序、聚成值列表,再按键序交给 reducer,于是 reducer 的逻辑简化为”对一个键的整个列表做折叠”。围绕这一步长出三个调优杠杆:combiner 在 map 端先聚合,把一万个单次计数压成一个总和,但它必须满足结合律,求平均值这类运算要先化成和与计数;partitioner 决定键的归属,用得好可以按年份分文件或打散热点键,用得不好就让一个 reducer 独吞大半数据,整个作业被最慢的那个拖住。shuffle 的产物
生态的分层逻辑比组件名单更重要。Pig 与 Hive 是批处理的高层外壳,一个用数据流脚本、一个用类 SQL,最终都被翻译成 MapReduce,因此继承了批处理的高吞吐与高延迟;HBase 走另一条路,按行键实时读写,靠预写日志、MemStore 与 HFile 压缩实现低延迟,代价是必须按访问模式预先设计行键、控制列族数量;Mahout 把分类、聚类、协同过滤算法搬到集群内,避免把大数据搬进单机工具。理解”谁是通用、谁是专用”,比记住名字有用。Hadoop 生态的职责边界
边界也要说清。MapReduce 适合可切成互不依赖分块的批处理,迭代收敛型计算会被中间落盘拖慢,这正是 YARN 把资源管理与任务调度拆开、允许图计算等模型共享集群的动机;HBase 也不是关系库的替代品,它擅长按行键的窄查询,不擅长即席的多维分析,NoSQL 的键值、文档、列族、图四类各有取舍。HBase 的三维数据模型 把这些边界记住,才不会把工具当银弹。
本章其余要点:四种数据格式的谱系、横向扩展而非换大机器、MapReduce 计数执行链、分块独立才可并行、HDFS 的角色分工、副节点不是备份、运行时的三个角色、combiner 的预聚合、分区器与数据倾斜、YARN 拆开资源与调度、Pig 与 Hive 的外壳、HBase 的写入路径与墓碑、NoSQL 四类存储的取舍。
原书依据 · 18 处
- 第10章 高级分析技术与工具:MapReduce和Hadoop · 查看原书依据
- 第10章 高级分析技术与工具:MapReduce和Hadoop · 查看原书依据
- 第10章 高级分析技术与工具:MapReduce和Hadoop · 查看原书依据
- 第10章 高级分析技术与工具:MapReduce和Hadoop · 查看原书依据
- 第10章 高级分析技术与工具:MapReduce和Hadoop · 查看原书依据
- 第10章 高级分析技术与工具:MapReduce和Hadoop · 查看原书依据
- 第10章 高级分析技术与工具:MapReduce和Hadoop · 查看原书依据
- 第10章 高级分析技术与工具:MapReduce和Hadoop · 查看原书依据
- 第10章 高级分析技术与工具:MapReduce和Hadoop · 查看原书依据
- 第10章 高级分析技术与工具:MapReduce和Hadoop · 查看原书依据
- 第10章 高级分析技术与工具:MapReduce和Hadoop · 查看原书依据
- 第10章 高级分析技术与工具:MapReduce和Hadoop · 查看原书依据
- 第10章 高级分析技术与工具:MapReduce和Hadoop · 查看原书依据
- 第10章 高级分析技术与工具:MapReduce和Hadoop · 查看原书依据
- 第10章 高级分析技术与工具:MapReduce和Hadoop · 查看原书依据
- 第10章 高级分析技术与工具:MapReduce和Hadoop · 查看原书依据
- 第10章 高级分析技术与工具:MapReduce和Hadoop · 查看原书依据
- 第10章 高级分析技术与工具:MapReduce和Hadoop · 查看原书依据
第11章 高级分析技术与工具:数据库内分析
本章讨论的不是某种新算法,而是分析代码放在哪里执行。数据科学家的默认习惯是把表抽到R里再算,数据库内分析把这个顺序反过来:让SQL在存储数据的机器上完成过滤、连接、聚合乃至建模,只把结果带出来。数据库内分析是什么要抓住的正是这一点——省掉的是导出、传输、导入这三段搬运,换来的是结果与库内最新数据同步,因而欺诈检测、推荐、定向广告这类要求近乎实时的场景才做得起来。但这个优势不是无条件的,把计算搬进数据库的权衡才是全章的判断主线:数据越大,搬运越贵,库内计算越划算;可数据库的算力、SQL的表达力、调试便利性都不如外部工具,重计算压在生产库上还会伤及线上业务。合理的做法是分层:能就地缩小的先缩小,收敛后的小结果再交给R精调。
要理解SQL为什么长这样,得回到关系模型。订单场景被拆成订单、客户、产品、类别等表,用ID互相引用,好处是省空间、改一处即可修正全表、新产品可以先于订单存在,这套减少重复的做法叫规范化。事务库为何不胜任分析指出了它的反面:为插入和更新优化的库并不擅长即席查询,所以数据仓库反而常把表合并成更宽的表,容忍冗余换取扫描效率。同一份数据,面向事务与面向分析要两种形状,这本身就是数据布局层面的权衡。
SQL的能力是按层次叠上去的。连接把分散在多表的列拼成一行,外连接加空值判断才能回答没有下过订单的客户是谁;集合运算符在行集之间做并、交、差;GROUP BY加聚合把行压成汇总,ROLLUP、CUBE、GROUPING SETS再补上小计与总计;窗口函数则在保留明细行的前提下计算排名与滑动平均,窗口函数与滑动窗口的关键是OVER里的排序、分区与帧定界,序列两端窗口自动变窄是它的自然结果,而不是缺陷。文本数据靠正则进入这套流程:先校验与清洗,再参与连接和聚合。
再往上就是扩展数据库本身。用户定义函数补上库内缺失的标量逻辑,用户定义聚合靠状态转移函数把上一期的结果带进下一期,EWMA这类递推平滑因此能在窗口里跑。MADlib走得更远,把回归、聚类、主题模型、ARIMA整批搬进库内并行执行,MADlib与MAD理念所对应的Magnetic、Agile、Deep,其实是数据底座对多源、快变、深度计算的三项要求。它的k均值示例也提醒了边界:坐标直接取自原始量纲时,数值大的销量会支配距离,聚类前必须缩放。可见库内分析并没有消除数据准备的功课,只是把功课换到了SQL里。
本章其余要点:规范化拆表的三个好处、连接类型与NULL陷阱、集合运算符与子查询、分组扩展与小计总计、正则表达式操作参考、正则的脆弱性、用户定义函数与聚合、排序聚合求中位数、库内k均值聚类的陷阱、数据库内分析的能力阶梯。
原书依据 · 15 处
- 第11章 高级分析技术与工具:数据库内分析 · 查看原书依据
- 第11章 高级分析技术与工具:数据库内分析 · 查看原书依据
- 第11章 高级分析技术与工具:数据库内分析 · 查看原书依据
- 第11章 高级分析技术与工具:数据库内分析 · 查看原书依据
- 第11章 高级分析技术与工具:数据库内分析 · 查看原书依据
- 第11章 高级分析技术与工具:数据库内分析 · 查看原书依据
- 第11章 高级分析技术与工具:数据库内分析 · 查看原书依据
- 第11章 高级分析技术与工具:数据库内分析 · 查看原书依据
- 第11章 高级分析技术与工具:数据库内分析 · 查看原书依据
- 第11章 高级分析技术与工具:数据库内分析 · 查看原书依据
- 第11章 高级分析技术与工具:数据库内分析 · 查看原书依据
- 第11章 高级分析技术与工具:数据库内分析 · 查看原书依据
- 第11章 高级分析技术与工具:数据库内分析 · 查看原书依据
- 第11章 高级分析技术与工具:数据库内分析 · 查看原书依据
- 第11章 高级分析技术与工具:数据库内分析 · 查看原书依据
第12章 结尾
实施是生命周期的第六阶段,也是最容易被技术团队轻视的一段。到这里模型已经定型,剩下的工作看起来只是汇报,但恰恰是这一步决定前面的投入有没有兑现。讲不清就没人看见价值 指出的是这个落差:分析的正确性只在团队内部成立,一旦离开团队,价值要靠受众的理解来确认。所以本章的落点不是分析技术,而是把分析转译成决策材料——同一批结果,要先想清楚谁要拿它做什么决定,再决定讲多深、讲多长。
组织层面的第一个动作是收敛范围。试点先小范围跑起来 把模型放到一条业务线或一类受影响用户上运行,用真实环境暴露数据延迟、资源竞争和流程接口的问题,并让负责生产环境的工程师提前进场。这与演示不同:演示追求说服,试点追求暴露。先在可控范围里学到东西再推广,本质上是把学习成本压在可承受的规模上;跳过这一步直接全量上线,等于把试错代价一次押在最大范围。判定能否推进的依据,是团队能否把收益量化并以令人信服的方式讲给利益相关者,所以量化不是收尾的装饰,而是立项推进的前提。
交付物按角色切分。七类利益相关者的关切有重叠,可以归并成四份东西:给项目发起人的演示、给分析师的演示、有良好注释的代码、技术规范。受众决定详略 给出分层的依据——面向高管要短、要快进结论、要说清对组织的价值;面向有定量背景的受众则要展开方法论与试验细节,因为他们要判断方法是否成立、能否迁移。一套核心材料分级复用 进一步说明不必写两套:目标、主要发现、模型描述三部分事实同源,可以直接共用;方法、关键论点、模型细节、建议才需要按受众重写。这里的关键判断是复用内容而不是复用排版,因为两份文档要辩护的东西并不相同。
讲法上有几处具体技巧,背后的理由都是读者不在场。用现状、复杂性、意义三句话补回项目背景,是因为交付物会在组织内流转,最初的发起人可能调岗或离职,背景随之丢失,后来的读者只能靠这三句话重建判断依据。把收益折算成金额、工时或获客成本,是因为价值巨大这类说法无法比较、进不了预算讨论,而一个具体数字能被发起人复述、能挡回质疑。执行总结在立项时就写、随项目推进迭代,则是把沟通前置成项目活动,让团队持续被追问结论到底是什么。
视觉部分是另一半,也是最容易做过头的地方。图表类型应由数据关系与要传的信息共同决定:组成部分对整体用饼图,项目比较用条形图,时间序列用线图,频率用直方图,变量关联用散点图;饼图只在两三个项目且受众是发起人时用。选错的代价不是难看而是误导,读者会从错误的视觉编码里读出并不存在的结论。删掉图表垃圾 给出清理路径:去掉无信息的网格线与装饰、把主体压成浅灰退到背景、只给要点上高对比强调色、补足图例与标签,并拒绝三维透视——透视会扭曲尺度,读者要花时间判断角度而不是比较长度,而比较长度才是图存在的理由。
本章其余要点:执行总结边做边写、三步说明为什么是现在、效益要落到可核算的数字、图表按数据关系选、技术文档按接口写。
跨章综合
“前提假设”是贯穿全书的同一条判断线。 k 均值假定簇是凸的、均值有意义(第4章);OLS 假定误差独立同方差且正态(第6章);朴素贝叶斯假定属性在类内条件独立(第7章);ARIMA 假定序列平稳(第8章);词袋假定词序不重要(第9章);MapReduce 假定分块可独立处理(第10章)。每一条假设都有对应的诊断手段:WSS 曲线、残差图、混淆矩阵与 ROC、ACF/PACF、主题一致性、倾斜的分区。方法选错往往不是算法错,而是假设不成立却没人检查。
数据形态决定方法形态,这条线从第1章一直拉到第10章。 结构化数据可以用 SQL 与回归,半结构化要解析,非结构化要靠文本流水线或 MapReduce 这类横向扩展的框架。第11章的选择(把计算放进数据库还是搬到外面)本质上是同一问题的另一面:数据移动的成本与算力分布的权衡。
“描述”与”预测”的分界决定评估方式。 聚类与关联规则不预测,因此没有准确率可报,只能用内部指标(WSS、轮廓)与业务可解释性判断;回归、分类、时间序列要预测,因此必须划分训练/测试、看泛化误差、按错误代价选阈值。把描述性结果当成预测性结论(例如把高置信度规则当作因果),是书里反复警告的误用。
评估口径必须与业务代价对齐。 第7章指出精确度在类别极不均衡时会骗人,阈值应按两类错误的代价来定;第12章把这条推到项目层面:效益要落到可核算的数字,否则再漂亮的模型也无法通过实施阶段的检验。技术指标与业务指标之间不存在自动换算,这一步只能靠人做。
发散与实践
以下为读者延伸,不是作者主张,也未实际执行;四张实践卡的书中依据、行动步骤与验证办法见 ideas/ 目录。
ideas/idea-001-生命周期耗时审计.md:用第2章的六阶段给自己的一个在研项目做耗时审计,验证”发现与数据准备占一半以上”是否在自己身上成立。ideas/idea-002-聚类前的量纲与属性自查.md:用第4章的诊断清单,在同一份数据上做换单位、删相关属性的对照实验,量化簇结构对预处理决策的敏感度。ideas/idea-003-文本流水线的可复现骨架.md:按第9章的六步流水线,在小语料上跑通 TFIDF 与主题模型,并检验停用词与文档长度对结果的偏置。ideas/idea-004-交付物分级复用.md:用第12章的交付物结构,把同一份分析结论改写成发起人版与分析师版,检验”一套核心素材分级复用”的可操作性。