来源书籍

数据科学与大数据分析 数据的发现 分析 可视化与表示

Skill 版本:v24 171 张卡片

EMC Education Services · 曹逾 等 译 · 人民邮电出版社 · 2016-01 · 第1版 · ISBN 978-7-115-41637-7

全书导读

这本书把数据科学当作一条完整的生产线来写,而不是一堆算法的集合。它的组织方式是:先讲清楚大数据为什么逼着人换方法(第1章),再给出一条可以反复回退的项目流程(第2章),然后用 R 把”看清数据”这件事拆成导入、探索、统计检验三个动作(第3章),接着才是聚类、关联规则、回归、分类、时间序列、文本分析六类方法(第4至9章),最后落到 MapReduce/Hadoop 与 SQL 数据库内分析两种执行环境(第10、11章),收尾讲如何把结论变成组织认账的交付物(第12章)。

读这本书要抓住的是一条判断链:数据类型决定可用运算,可用运算决定能选哪些方法,方法的前提假设决定结论能走多远,而执行环境决定这些计算能不能在可接受的时间内跑完。任何一环被跳过,后面的结论就没有依据。书中反复出现的失败模式都属于这一类——把非结构化数据塞进关系表、在量纲不同的属性上直接算欧氏距离、用置信度代替提升度判断规则价值、把高 R² 当作模型可用的证据、把不平稳序列直接送进 ARIMA。

第二个特点是它不回避”方法之外”的部分。生命周期一章花了大量篇幅讲七种角色、发起人的真实诉求、失败标准怎么写;收尾一章讲受众分层、核心素材复用、图表取舍。这些内容在算法书里通常被省略,但它们决定了一个分析项目是被采纳还是烂在报告里。

阅读顺序上,第1至3章是地基,不建议跳读;第4至9章可按手上问题挑读,但每章开头的”关键概念”与结尾的”总结”要连起来看,那里才是边界条件所在;第10、11章偏工程,若无集群与数据库环境,读其权衡部分即可;第12章任何角色都值得读一遍。

全书主线

前半本建立”为什么”和”怎么做”。 第1章用 3V(数量、种类、速度)把大数据定义成”旧架构接不住”的问题,而不是”数据变大”的现象,并沿结构把数据分成结构化、半结构化、准结构化、非结构化四档——这条线索一直用到第9、10章。存储侧的比较(电子表格、EDW、分析沙盘)落在一个判断上:探索性分析需要一块不受生产库约束、但仍在治理之下的空间。第2章把项目切成发现、数据准备、模型规划、模型建立、沟通结果、实施六阶段,并强调它是循环而非流水线;最实用的一条经验是时间分布——发现与数据准备吃掉一半以上,建模反而是最短的一段。第3章是工具箱:属性类型(NOIR)决定哪些统计量有意义,可视化负责发现形状,检验负责判断差异是否只是抽样波动。

中间六章是方法家族,彼此有明确分工。 聚类(第4章)没有标签,只发现结构,因此 k 的选择、属性的正交性、量纲的统一是结果可信的前提。关联规则(第5章)同样无监督,但输出的是”一起出现”的描述,支持度管覆盖、置信度管条件占比、提升度与杠杆率才管”是否超出独立基线”。回归(第6章)开始有因变量:连续结果用线性回归,二值结果用逻辑回归,OLS 的四条误差假设支撑了 t 检验与区间估计,残差图是检验假设的第一现场。分类(第7章)从已标注样本学习,决策树用熵或基尼挑分裂点、用剪枝控制过拟合,朴素贝叶斯用条件独立假设换取可估计性,代价是相关属性被重复计权。时间序列(第8章)与前面几章的根本差别是观测不独立,因此必须先处理平稳性,再用 ACF/PACF 定阶,把 AR、I、MA 三个参数各自的作用分清。文本分析(第9章)把非结构化文本压成可计算对象:规范化、词袋、TFIDF、主题模型、情感判断,每一步都在用信息换可计算性。

后半本讲执行与交付。 MapReduce(第10章)的适用性由”分块是否可独立处理”决定,HDFS 用块与副本换取吞吐与容错,代价是 NameNode 的单点与元数据内存压力;数据库内分析(第11章)反过来把计算搬到数据旁,省掉搬运,但受限于数据库的算力与扩展方式。第12章回到人:先把范围收敛到试点,再把一套核心素材按受众改写成不同颗粒度的交付物,图表按数据关系选型,执行总结边做边写。

序与前言

读这本书之前,值得先记住序里的那个判断:大数据之所以值得投入,不是因为数据多,而是因为它内含尚未兑现的见解、理解力与预测能力,兑现这些潜力的手段被统称为数据科学。这个说法把重心从“存了多少数据”移到“有没有能力从里面看出模式与关系”。序同时给了一个克制的现实前提——受过系统统计训练的人很少,也很少有组织曾为探索性分析专门收集数据。缺口因此是双重的:既缺人,也缺把探索当成正经投入的组织习惯。这也解释了为什么后面每章都不只讲算法,还要讲生命周期与交付。

应对这种缺口,序提出的是教育策略层面的三件事:人、过程、工具与技术。三者是乘数关系而非加法关系:没有过程,分析是一次性的即兴探索,结论无法复现与交接;没有人,流程空转,遇到新问题无人能做判断;没有成熟工具,团队一小就撞上数据量与算力的天花板。把它当诊断表用,比当口号喊更有价值——项目反复延期或结论站不住时,先定位短板在哪一维。数据科学的三根支柱 但要注意,这个框架描述的是组织能力建设,不解释单个任务的成败;对具体任务,方法选择与数据质量才是决定项。

前言的部分更偏交代边界。它把收益分成企业与学术两条线:企业侧是效率、质量、个性化服务,最终落到满意度与利润率;学术侧是更丰富的分析成果与更深的洞察。两条线共用的机制是结构化与非结构化数据的实时获取与查询结合,这决定了后文为什么要讲 MapReduce 与数据库内分析,而不是只讲统计模型。读者分层也不是客套话,它其实是一张自评表:缺口在方法的人重点读高级分析方法各章,缺口在纵深的人不能跳过统计基础,缺口在路径的人先看清角色与技能结构。读者分层与收益路径 三类人的共同前提是动手实践,只读不练不会形成能力。

最后两项交代了这本书的血统:内容源自 EMC 学院联盟面向院校开放的课程体系,覆盖数据科学与大数据分析、信息存储与管理、云基础设施与服务、备份恢复系统与体系结构;本书同时被定位为数据科学专员认证的准备资料。这解释了全书为什么强调端到端工程、为什么工具章节与算法章节并重,也提醒读者:它是为“能胜任分析项目”写的,不是为考试提纲或理论综述写的。

原书依据 · 2 处

第1章 大数据分析介绍

大数据常被误解为“数据量很大”,但真正让传统技术失效的并不是行数。3V 之中,数量只决定存储与算力的预算,种类和速度才决定技术路线:结构异构让按行列建模的关系型方案失效,高速到达让“先入库再隔夜跑批”的节奏失效。麦肯锡 2011 年的定义把这一点说得很直白——大数据之所以是大数据,是因为它必须采用新的技术架构和分析方法才能挖掘价值。因此,判断一个项目是否属于大数据,不该看 GB 数,而该看现有架构在可接受的时间与成本内是否还能产出洞见。大数据的三个V特征

结构是第二条分界线。结构化、半结构化、准结构化、非结构化并不是四个并列的标签,而是一条“预定义程度”递减的谱:关系表有严格模式,XML 有可解析的模式,点击流只有可用规则整理的痕迹,文本、图像、音视频则没有固有结构。真实系统几乎总是混合的——呼叫中心的结构化呼叫特征与非结构化录音、工单共存,后者往往藏着更多洞见。原文估计新增数据中八成以上是非结构化,这解释了为什么分布式计算与大规模并行处理会成为默认选项。数据结构的四个层次

存储侧的矛盾来自治理目标与分析目标不一致。电子表格让业务人员自建逻辑,代价是“真相有许多版本”;企业数据仓库把数据集中起来,用安全、备份、故障切换和单一官方数据源换取了准确性,但入仓前的理解、结构化、标准化与检查点,以及变更模式的审批流程,把探索性分析挤到了体系之外。分析员于是批量取数、在本地用 R 或 Excel 做内存分析,只能抽样,模型精度受限;部门集市与影子文件系统填补了空白,却失去同步、备份与安全约束。这不是管理不善,而是“准确”与“敏捷”的结构性张力。企业数据仓库的两难

分析沙盘是对这条张力的折中:仍由 IT 管理,但设计目标改为支持高强度实验,放在非生产环境,容纳原始数据、文本与其他非结构化数据,并常用数据库内处理把计算推到数据所在的库内,省去反复搬运。它降低却没有消除影子系统的成本与风险,也不会自动带来治理——缺少口径约定和有经验的用户,沙盘仍会退化成新的孤岛。可以说,沙盘是组织为“允许试错”付出的基础设施代价。分析沙盘:受控的探索空间

有了数据与场所,还要区分分析的类型。商业智能回答过去与现在的“何时、何地”,依赖高度结构化的数据出报表、仪表板与查询;数据科学面向未来,用时间序列、场景优化、分类等方法回答“如何、为何”,可以吃多源与非常规数据。两者不是新旧替代,而是分工:BI 守住经营监控的确定性,数据科学处理开放式决策的不确定性。选型应从这个目标差异出发,而不是从工具热度出发。商业智能与数据科学的分野

本章其余要点:大数据生态的四类参与者、三类分析人才的分工、数据科学家做什么、用购物记录推断怀孕、Hadoop 为何适合大数据。

原书依据 · 10 处

第2章 数据分析生命周期

数据分析项目的难点不在于算得快,而在于问题常常一开始就没问对。本章给出的生命周期,本质是一套允许犯错的流程:六个阶段不是瀑布,而是可以回退的环。团队在建模时发现字段缺失、在沟通时发现假设问错,都可以退回上一阶段甚至回到起点,这种回流由新信息驱动,属于正常状态而非管理失控。六阶段不是直线而是循环这张卡把六个阶段与回退路径画在一起,用来看清项目真实的推进方式。与之配套的是检查点而非硬门槛:每阶段只问一句“信息够不够进入下一步”,例如发现阶段的过关标志是能写出一份可交同行评审的分析计划。

流程能跑起来的前提是人。业务用户、发起人、项目经理、商业智能分析师、数据库管理员、数据工程师、数据科学家这七类角色各有立场,人数却可以压缩,小团队三人分担七种职责同样成立。真正不能省的是业务知识与技术能力的平衡,以及发起人对需求的把关。本章反复提醒,发起人带来的往往是一个预设方案而不是需求,团队的价值在于保持客观、把方案还原成问题,并把成功标准与失败标准一起写下来。有了失败标准,停下来才是事先约定的决定,而不是临阵退缩。成功标准之外还要失败线讲的正是这个容易被忽略的对称设计。

六个阶段中最费时的是数据准备,通常超过项目一半时间,也最容易被轻视。分析沙箱必须先与生产库隔离,数据以副本进入;导入方式上本章主张先加载后转换,因为清洗常常会顺手删掉真正有价值的异常值——欺诈检测里那些异常值恰恰是信号。先加载后转换的ELT把这个取舍讲成了可迁移的判断:原始形态本身就是资产。治理阶段则要决定保留什么、丢弃什么,这类决定必须由团队共同做出,一个人拍板往往导致后期回头抢救已被删除的数据。

进入模型阶段,重点从数据质量转向变量关系。团队要抓最本质的预测因子,而不是把所有“看起来相关”的变量都塞进模型;同时要分清目标是黑盒预测还是因果解释,前者只需相关性稳定,后者要求模型可解释并能用不同数据集做压力测试。只留最本质的预测因子说明了变量收敛与共线性警惕的必要性。模型建立阶段用训练集拟合、测试集验证,两者的独立性决定了评估是否可信。

最后两个阶段处理的是“结果如何被接受”。项目没有做出预期结果,不应记成失败,而应表述为数据还不足以验证或否定假设;这要求分析足够深、表达足够诚实,既不能敷衍了事,也不能硬凑出不存在的结论。失败也是分析结论提醒的就是这两种偏差。实施阶段先用试点在小范围生产环境里验证性能与约束,再全面推广,并建立精度监控与出界报警。GINA案例把这套流程走完,用社交图谱在创新数据里找出了被口口相传忽略的科克市创新群体,说明流程并未束缚探索,反而让探索的结论站得住。

本章其余要点:七种角色,人数可变、别急着抓数据、发起人的方案不是需求、初始假设是分析的原型、沙箱要和生产库隔离、数据治理是保留与丢弃的取舍、可视化探索:先总览再放大、训练集与测试集的分工、按受众分层交付成果、GINA用社交图谱找创新者。

原书依据 · 15 处

第3章 使用R进行基本数据分析

这一章真正的主题不是 R 语法,而是建模之前先把数据看清。开篇那段脚本把顺序摆得很清楚:读入 CSV、用 head() 与前几行核对、用 summary() 看每列的极值和四分位数、画散点图判断关系形状、拟合线性模型、再看系数与残差直方图。这个顺序有依赖关系,检查不充分就建模,错误会一路带进结论。把这条骨架记住,后面章节的聚类、回归、分类不过是替换中间环节,外围动作仍是读入、核对、画图、建模、诊断,这条骨架见 R分析脚本的标准流程。

数据结构的讲解服务于同一个目的:知道手里这一列到底是什么。向量只能装同一种值,数组和矩阵是给向量加维度,数据帧则是等长变量的列表——它的 class 是 data.frame,typeof 却是 list,所以单括号取到的是列表片段,双括号才取到对象本身。与结构同等重要的是属性类型:定类只能判等,定序能比大小,定距能加减,定比才能乘除。四种类型不是术语游戏,而是决定哪些统计量有意义;把邮政编码当数值求均值,或把定类变量直接放进回归,都是在这一步出错,四种类型的分工见 四种属性类型与可用运算。

可视化被放在统计之前,理由由安斯库姆四重奏给出:四组数据的均值、方差、相关系数、回归直线几乎完全一致,散点图却显示一组是直线、一组是曲线、一组被一个离群点撑着、一组只有两个 X 取值。汇总统计量只描述二阶矩,对形状、离群点、多峰结构不敏感,安斯库姆四重奏的警示 就是为此而设。因此探索阶段先画图,再决定用什么方法。图形同时也是查脏数据的手段:年龄直方图在 0 与负值处的巨大峰值提示缺失值被编码成了合法数字,按揭年份在 10 年处的异常堆积提示档位被截断成“10 年及以上”,订单数最少为 1 则说明样本只覆盖活跃客户。这些异常靠 is.na() 检查不出来,只能靠分布形状加领域知识判断。

统计部分的主线是原假设框架:先假设没有差异,再看数据是否足以推翻它,见 假设检验的原假设框架。两组均值比较要先确认样本独立随机、分布近似正态、方差是否相等,据此在学生 t 检验与 Welch t 检验之间选择;正态假设不成立且变换无效时,改用基于秩的 Wilcoxon 秩和检验,它更稳健但会损失数值信息。多组比较不能反复做 t 检验,否则 I 型错误随检验次数累积,这正是 ANOVA与Tukey事后比较 要解决的问题:先用 F 统计量回答是否存在差异,显著后再用 TukeyHSD 做成对比较并控制族错误率。

最后一个容易被忽略的边界是受众与代价。探索用图追求信息密度,演示用图追求一眼读懂,同一批账户余额数据,对数密度图给分析师看,按金额分桶的直方图给业务方看,而分桶边界的选择又会直接改变读者对“最集中区间”的认知。统计结论同样有边界:样本足够大时几乎任何微小效应都会显著,p 值只回答是否可能出于偶然,差异有多大、值不值得行动,仍要看效应量与置信区间。

本章其余要点:导入函数的默认值差异、向量是R的基本数据单位、数据帧是等长变量的列表、因子承载分类与次序、列联表与卡方独立性检验、描述性统计与apply族、脏数据的三种典型信号、缺失值的检测与处理、单变量图形的选型与读法、直方图、密度图与对数刻度、散点图的五个视觉通道、箱线图的读法、蜂巢图应对数据重叠、探索用图与演示用图、学生t检验与置信区间、Welch t检验的适用场景、Wilcoxon秩和检验、两类错误、功效与样本量、检验方法的选择路径。

原书依据 · 24 处

第4章 高级分析理论与方法:聚类

聚类处理的是一类没有标签的数据。给定一批对象和它们的若干属性,算法要找出哪些对象天然地靠在一起。这里没有标准答案可以对照:簇的个数、边界、含义都要由分析者事后赋予。判断一次聚类是否可信,不能只看簇是否被算出来,而要看属性选得对不对、尺度是否可比、k 是否有依据。这也解释了为什么本章在讲完算法之后,把大量篇幅留给注意事项而不是公式推导。

k 均值的机制可以用一句话概括:分配与重算交替进行。每个点归到最近的质心,质心随即移动到本簇的均值位置,边界因此一轮轮调整,直到稳定。k均值的四步迭代 展示的正是这个循环,以及它的两个终止条件——质心不再移动,或归属在相邻两轮之间来回振荡。机制简单带来的代价是结果依赖初始位置与 k:换一组初始质心,可能落到另一个局部解,所以要多次重启并比较 WSS。

k 的确定没有公式,只有启发。用WSS拐点选k 的做法是把簇内距离平方和随 k 的变化画出来,找下降明显变缓的位置;多一个簇若不能显著降低 WSS,就不值得增加。但曲线只是候选,属性少时还要把数据画出来看。聚类结果的三问诊断 提供了一套目视检验:簇之间是否分得开、有没有只剩几个点的小簇、质心是否挨得太近。三个问题里任何一个为否,都提示当前 k 只是把连续分布硬切开。

很多失败不在算法,而在进算法之前。量纲不同,簇也不同 说明同一批病人,身高用厘米还是米,会得到不同的簇——距离由量级大的属性主导,除以标准差可以把各属性拉回同一起跑线;长尾的收入取对数,则等于重新定义“远近”。属性本身也要精简:高度相关的变量只留一两个,否则等于给某个维度重复加权。

当“数值”和“均值有意义”这两个前提不成立时必须换方法。k均值之外的四类方法 给出四条路:分类属性用 k-模式,以取值差异计数、以众数为中心;要求簇心是真实对象用 PAM;形状不规则用密度聚类;想看多粒度结构用层次凝聚。这些方法并不比 k 均值更高级,只是各自换掉了一个不成立的假设,代价是计算更重或结果更难向业务方解释。本章的落点不是记住某个算法,而是养成一套顺序:先看数据形态和业务问题,再定相似性、中心与 k,最后用图和常识验收。一套聚类结果能写进报告的前提,是分析者说得出每个簇是什么人、为什么这样分,而不只是报出 WSS 降了多少。

本章其余要点:聚类是无监督的分组、属性选择先看相关性、曼哈顿与余弦距离。

原书依据 · 8 处

第5章 高级分析理论与方法:关联规则

关联规则处理的是一类很朴素的问题:在一大堆交易里,哪些东西总是结伴出现。每笔交易被看作一个项集,含 k 个商品就是 k 项集;算法要找的是反复共现的组合,再把组合拆成 X → Y 的规则,左边前件、右边后件,用置信度说明这条规则在多大比例的适用场合成立。这里没有标签也没有因变量,方法只描述数据里已经存在的规律,不预测某个客户下一步买什么——把它当预测模型用,是最常见的误用。也正因为输出是一堆规则而不是一个模型,它天然需要人来筛。

搜索这一侧的核心是支持度。它等于含某个项集的交易占全部交易的比例,写进算法里的作用只有一个:决定哪些项集能活到下一轮。最小支持度是人在建模前就定下的先验,定高了只剩人人皆知的搭配,定低了候选集爆炸、跑不完。支持度是交易的覆盖率 讲清了它只衡量覆盖面、与箭头方向无关这一点。在此之上,Apriori 依靠向下封闭性工作:频繁项集的子集必然频繁,所以子集不频繁时整枝超集都可以放弃。Apriori逐层生成频繁项集 把这个逐层生长与修剪的循环画了出来,值得记住的是它的代价——每验证一层都要把整个交易库扫一遍,层数乘以单次扫描成本,就是它随数据规模变慢的原因,后来的分区、采样、交易压缩等手段都在减少扫描或提前剪枝。

评估这一侧才是判断力的所在。置信度看起来最直观,却有一个结构性缺陷:它只算共现占前件的比例,不问后件本身有多普遍。如果九成顾客都买 Y,那么随便什么 X 指向 Y 的置信度都不会低,规则看似很强,实际上什么都没说明。置信度为何偏爱巧合 用 95% 与 90% 的例子说明了这种失效方式。修补办法是引入独立基线:提升度用实际共现除以两者的期望共现,以 1 为界;杠杆率用同一个差值,以 0 为界。前者便于跨数据集比较强度,后者能直接折算成多出来的交易笔数,但两者在低频项集上都会失真——共现只有几笔也能算出很高的提升度,杠杆率则趋近于零,看起来像没关系。所以任何一条规则都不该由单一指标定生死。

四种度量各管一段 把这条流水线说清楚了:支持度在搜索阶段裁剪项集,置信度在规则阶段筛掉不常成立的方向,提升度与杠杆率在评估阶段剔除巧合,三者缺一,结果就会偏向某一类错误。再往后还有一层无法量化的判断:统计上显著的规则可能只是常识,纸和笔的搭配人人都知道,写进报告毫无价值;统计上平平无奇但反直觉的规则,反而可能指向一个没人想到的交叉销售机会。统计有趣不等于业务有用 说的就是这件事,它必须借助领域专家,也必须在业务目标下裁决,而不是由阈值自动完成。

把这一章放回全书,它的位置很清楚:与第4章的聚类同属无监督的探索工具,一个找相似的样本,一个找共现的特征;而第6章的回归开始引入因变量,从描述关系转向预测数值。理解了这条分界,就不会拿关联规则去回答“该给这个用户推荐什么”之外的因果问题——它连“一起买”是否等于“因为买了才买”都不保证。

本章其余要点:关联规则:描述而非预测、项集与k项集、最小支持度切出频繁项集、Apriori属性:子集必频繁、置信度是条件占比、提升度:对照独立基线、杠杆率:用差值量增量、Apriori的扫描代价与提速。

原书依据 · 13 处

第6章 高级分析理论与方法:回归

回归要回答的问题很朴素:一个结果变量如何随一组输入变量变化。但它有两个分支,分支的依据不是偏好,而是结果变量的取值域。结果连续,用线性回归,模型输出任意实数,再把个体差异交给误差项;结果是二值标签,线性模型会给出小于 0 或大于 1 的值,无法当概率用,于是先算一个实数得分,再用逻辑函数压到 0 到 1,这就是 逻辑回归如何把概率拉直 所讲的构造。理解这一点,才能明白为什么同样是“回归”,一个用最小二乘、一个用极大似然。

线性回归的全部技术细节都围绕 OLS:让残差平方和最小 展开。所谓拟合,就是在无数条可能的直线中挑一条,使各观测点到它的垂直距离平方和最小;平方既避免正负抵消,也让极端点拥有更大话语权,这解释了为什么一个录入错误就能改变整条线的斜率。但系数估计出来只是第一步,要把它用于判断,还需要误差独立、零均值、等方差且正态这条附加条件:有了它才有 t 检验、F 检验和各类区间。务必分清——最小二乘本身不要求正态,需要正态的是推断环节。

正因为推断依赖假设,诊断就不是可选项。残差图是诊断第一现场 给出了一条判读路径:残差对拟合值作图,弯曲说明函数形式不对,整体偏离零线说明漏了变量,喇叭形说明方差不恒定,只有均匀散布才谈得上继续检查正态性。顺序很重要,形态没修好时,正态性检验的结论本身也不可靠。与之配套的是对拟合优度的警惕:R² 只升不降,加噪声也能变好,所以要看按参数个数惩罚的调整 R²,并用 N 重交叉验证直接测泛化误差。

逻辑回归的评估换了一套语言,但逻辑相同:残差偏差与无效偏差之差近似服从卡方分布,本质是在问“多出来的这些变量,是否真的让模型更可能产生眼前这份数据”;伪 R² 只是把这个差值标准化,不能与线性回归的 R² 直接比大小。当模型被当作分类器使用时,ROC 曲线与阈值取舍 把问题推到决策层:阈值降低会同时抬高真阳性率与假阳性率,曲线越靠左上越好,而最终取哪个点取决于漏报与误报哪个代价更高——这是业务判断,不是统计结论。

本章最后划出的边界同样重要。预测得准不等于可以推断因果,看牙医与心脏病的关系就是反例;把模型外推到训练数据没有覆盖的输入范围,线性关系很可能不再成立;而当输入变量彼此高度相关时,多重共线性:重叠的代价 会让系数绝对值膨胀、符号翻转,此时删变量、合成变量(如 BMI)或改用带惩罚的岭回归与套索回归,都比硬解释系数更诚实。整章反复强调的是同一件事:拟合可以交给软件,选变量、验假设、定粒度、说清适用范围,才是分析者真正的工作。

本章其余要点:相关不等于因果、正态误差假设换来什么、分类变量要拆成哑变量、用 t 检验决定变量去留、R² 高不等于模型好、置信区间与预测区间之别、偏差与似然率检验、岭回归与套索的惩罚。

原书依据 · 13 处

第7章 高级分析理论与方法:分类

分类把学习问题落在“有答案的样本”上:训练集的每条记录都带类别标签,算法归纳属性与标签之间的对应关系,再把这套关系用于未见过的记录。它与聚类最容易被混淆,区别不在算法而在问题设定——聚类的标签是事后命名的,分类的标签在训练之前就已给定。也是在这个意义上,分类只能分配训练中见过的标签,遇到全新类别无能为力;标签本身有偏或正负样本极度失衡时,分类器学到的往往只是多数类的先验。

决策树是本章的主线。它把判定写成树形:内部节点测试一个属性,分支是测试结果,叶子给出类别,根到叶的一条路径就是一条 if-then 规则,因此结果可以被领域专家逐条核对。选哪个属性分裂由杂质度量决定,核心是熵衡量节点的杂质:它在两类各半时达到最大,在节点完全纯净时为零;条件熵是按属性切开后各子集熵的加权平均,基础熵减去它就是信息增益。这一步的计算细节值得亲手算一遍,因为增益的绝对值常常很小,真正有意义的是属性之间的相对高低,而且信息增益天然偏好取值多的属性。CART 换成基尼指数,不做对数只做平方和,先长出一串子树再用交叉验证挑误分类代价最低的一棵;连续属性则先排序,取相邻取值的中点作为候选切点。这些准则共同的局限是只看类别分布、不看误判代价,所以它们选出的是“更纯”的分裂,而不是“更值钱”的分裂。

分裂过程是贪心的,每层只比较当前哪个属性最好,不回溯也不做全局搜索。这种策略让决策树可以处理高维数据,代价是一次坏分裂无法撤销:数据被切得零散,后续节点样本太少,树被迫长深,最终把噪声也学进去。过度拟合的典型信号是层数过多、许多节点只含极少数样本,训练误差很低而新数据上表现很差。治理有两条路:提前停止生长,或者长成之后剪枝抑制过度拟合。剪枝自下而上删除贡献不足的子树,错误率降低剪枝用验证集比较剪与不剪的错误率,只要不升高就剪;它的目标从来不是让训练误差最小,而是让泛化误差最小。

朴素贝叶斯换了一条完全不同的路,朴素贝叶斯的独立假设是它的枢纽。贝叶斯定理把难算的 P(类别|属性) 换成容易从训练集统计的 P(属性|类别) 与 P(类别)。真正让它可用的是两项简化:给定类别时属性条件独立,以及忽略对所有类别都相同的分母。前者把需要估计的参数从属性组合数降到属性数乘取值数,是它能在高维文本上工作的根本原因;后者只影响绝对数值,不影响比较结果。代价同样来自这个假设:属性真相关时,同一份证据被连乘两次,后验被推向极端,标签也许还对,概率却已经不可信。零概率是另一个致命点,一个没出现过的取值会让整类得分归零,所以要用拉普拉斯平滑给不可见事件一个小正概率,取值很多时则把加一改成可调的 ε。

最后是评价。混淆矩阵把预测与实际的四种组合摆成一张表,正确都在主对角线,任何非零的非对角元素都是错误,一眼就能看出错在哪一侧。由四格派生出精确度、TPR、FPR、FNR、准确率与召回率,这层换算就是混淆矩阵到各指标,它们不是彼此独立的分数,而是同一组计数的不同比值。精确度的盲区在类别不平衡时暴露得最彻底:银行案例里 90% 的精确度,对应的是 11 个签约客户漏掉 8 个。至于哪种错误更该避免,答案不在算法里,而在业务对误报与漏报的容忍度上。也正因为单一阈值只能给出一个工作点,才有ROC曲线与AUC所刻画的曲线:横轴 FPR、纵轴 TPR,扫过所有阈值,对角线是随机猜测,左上角是完美分离,AUC 落在 0.5 到 1 之间,用于跨模型粗筛。AUC 高不等于可用,最终仍要回到具体阈值下的混淆矩阵。

本章其余要点:分类靠已标注样本学习、决策树的节点与分支、信息增益挑选分裂属性、基尼指数与CART、连续属性按中点切分、贪心分裂的局部最优、无关变量拖累决策树、决策树的构建流程、基础率压低阳性后验、零概率与拉普拉斯平滑、关联变量被重复计权、高精确度也会误导、错误代价由业务决定。

原书依据 · 18 处

第8章 高级分析理论与方法:时间序列分析

时间序列是一串按相等时间间隔排列的有序观测,比如十二年内每月国际航空乘客数共 144 个值。它与横截面数据的根本差别在于观测不独立:今天的需求里含着昨天的余温。因此分析的落点不是估计总体参数,而是找出这条轨迹的生成规则,再拿规则外推。规则被拆成四块——趋势、季节效应、周期与随机性。趋势是长期移动方向;季节效应与历法绑定、周期固定;周期则不那么固定,如零售随经济繁荣与萧条起伏;随机性里既有无从建模的噪声,也可能藏着可建模的底层结构。Box-Jenkins 把这件工作组织成闭环:识别并处理趋势与季节、估计参数、评估模型,不过关就退回第一步。整章其实就是把这个闭环在 ARIMA 上走一遍,流程见 ARIMA建模的闭环流程。

闭环的第一道关是平稳性。AR 与 MA 的系数都是与时间无关的常数,只有均值恒定、方差有限、协方差只依赖间隔 h 的序列,同一组参数才能贯穿所有时刻。第三条件允许协方差非零,序列可以有记忆,只是记忆强度只跟隔多远有关;这比“独立”宽松,也比“各时刻同分布”的严平稳宽松,属于弱平稳。判断靠时序图与 ACF 衰减速度:有趋势先回归去趋势或差分,有季节先做季节差分。差分把水平换成变化量,做几次就是 d;但每差一次都放大高频噪声,图 8.10 中二次差分后方差明显变宽,说明过度差分会让模型更难拟合。条件与边界见 平稳序列的三个条件。

序列摆平之后才轮到看自相关。ACF 把相隔 h 期的协方差用方差归一化,取值落在 -1 到 1,ACF(0) 恒为 1;图 8.3 中 lag 1 约 0.9、lag 2 约 0.8,直到 lag 8 都大于 0.6,于是八阶自回归成为候选。读图看形状:缓慢拖尾意味着强持续性,某点之后突然落回零意味着记忆被切断;95% 虚线外的点才算信号,正负值都取绝对值,细节见 ACF图怎么读。但 ACF 算的是总相关,包含经由中间时点传递的间接影响:AR(1) 反复代入后,lag 2 的相关约为系数平方,仍然很高。所以直接按 ACF 定阶会越定越高,必须用 PACF 把中间项的影响回归掉,只看净相关。

PACF 的做法是先剔除中间项,剩下的才是直接关联,h 为 1 时两者相同。汽油产量数据在 lag 2 后骤降,指向 AR(2),而真实生成过程正是 0.6 倍前一期加 0.35 倍前两期。MA 的图景恰好对调:当前值由当前与过去 q 个白噪声线性组合而成,随机冲击直接进入当期,超过 q 期后不再共享冲击,故 ACF 在 q 后截断。于是有了判读口诀:AR 的 ACF 拖尾、PACF 截断,MA 反之,两者都拖尾则考虑 ARMA,参见 PACF与AR定阶。把三件事合成记号就是 ARIMA(p,d,q):p 管观测值惯性,d 管差分次数,q 管冲击余波;d 为零时退化为 ARMA;有季节模式再叠乘式季节项,s 取 12、52、7。分工与季节记号见 ARIMA三参数各管什么。

参数用最大似然估计,候选模型靠 AIC、AICc、BIC 比较,三者都对参数个数施加惩罚,越小越好;汽油产量中 (0,1,1)×(1,0,0)12 三项全部最低,与读图结论一致。之后还要查残差:ACF 与 PACF 不应再有越界点,直方图与 Q-Q 图应接近正态,方差应恒定,否则先做对数变换重拟合;大 lag 上偶发越界通常算巧合,追进去就是过拟合。最后是边界:ARIMA 只需一条历史序列,不必预测 GDP、油价等外生变量,代价是无法说明哪些因素在起作用,给不出因果;火灾、政策或消费结构变化会让长期预测失真,所以只宜短期。ARMAX、GARCH、卡尔曼滤波、VARIMA 只被点名,分别对应外生输入、波动率、实时状态与多序列互影响。

本章其余要点:MA模型为何会截断、差分的次数与过度差分、用信息准则比较模型。

原书依据 · 8 处

第9章 高级分析理论与方法:文本分析

文本分析处理的是没有字段的自由文本,因此它首先要回答一个工程问题:怎样把文字变成可计算的数值,同时不把要用的信息一起扔掉。开篇用一本只用 50 个词写成的童书说明维度问题,再用 Google N-Grams 的百万词表说明真实语料的规模,随后指出数据本身从纯文本到 HTML、日志、JSON 混杂,结构化程度参差。这两个先天性困难决定了后续所有方法都围绕降维与抽取展开,也解释了为什么预处理常常比建模更费时间。要理解这一章的组织方式,可以把 六步文本分析流水线 当作骨架:收集、表示、TFIDF 加权、主题分类、情感判断、可视化汇报。它对应数据分析生命周期的前五个阶段,但并非一次走完,主题结果不满意往往要回到表示层改分词,情感结果异常则要回到收集层补样本。把流水线拆开看,每一道工序都有独立的失败模式,这也让人容易定位问题出在取数、表示还是模型。

表示层的核心是 从原文到词袋向量 这条链路。分词、大小写转换、去停用词、词形归并,每一步都在做合并或丢弃,都在用信息换维度;词袋则进一步放弃词序,换来简单、稀疏、可扩展的向量。这里最容易被低估的是规范化的破坏力:按标点分词会把 can’t 拆成 can 和 t,把否定极性弄丢;统一小写会让 General Motors 散架,让 WHO 退化成疑问代词。判断标准不是规范得干净,而是任务是否还需要被丢掉的那份信息。

加权层是本章的技术核心。词频只看单篇文档,于是 the、and、of 永远排第一,领域通用词也会挡住真正的关键词;TFIDF的合成与边界 把文档内的频率与跨文档的稀缺度相乘,要求这篇里常见、别处少见同时成立,才给高分。这个设计不需要任何语义知识,也能随文档增删增量更新,所以特别适合检索与动态内容。它的边界同样清楚:同义词、多义词、否定、语序都处理不了,而且只能给出词级线性权重,揭示不了文档内与文档间的统计结构。IDF 本身还有一个常被忽略的细节:文档总数固定时它只是文档频率的单调函数,文档频率相同的词会得到完全相同的分数,布朗语料库里的 sunbonnet 与 narcotic 就是例子。为了补上结构这一层,主题是词汇上的分布 把主题定义成词在固定词汇上的概率分布,把文档看成若干主题按不同比例的混合,于是输出从单个标签变成比例向量,也不需要任何先验标注。LDA 的三条假设则说明这条路线的代价:词汇固定、主题数预设、每篇文档是主题的随机混合,现实中只有文档可见,主题、比例和每个词的主题归属都要靠后验推断;主题数选错会把题材切碎或压平,主题叫什么仍要人来命名。

最后一层是判断与解释。情感分析的两条路线 代表两种知识来源:词典法把人写的规则变成分数,冷启动快、可解释,但否定、反讽和领域极性会让它停在六成准确度;监督学习从标注语料里估权重,能自动适配语料特有的线索词,准确度约八成,代价是标注成本和对同分布的依赖。评估时必须把准确率与召回率并看:影评例子中召回率接近 0.98,准确率却只有 0.66,混淆矩阵里的大量误判正说明模型偏向正类。收尾的可视化不产生结论,它的作用是提出假设,让分析师回到文本里核实,这也是整章反复强调的分工:表示与加权决定可靠性,解释与核实仍由人完成。

本章其余要点:文本难在高维与无结构、语料库是静态知识库、句法分析与词性标注、词形还原与词干提取、分词与大小写的取舍、词袋法为何丢掉顺序、词频的三种口径、只靠词频会高估通用词、IDF的构造与盲点、LDA的三条硬假设、情感分类器的评估与迁移、单词云与领域停止词。

原书依据 · 17 处

第10章 高级分析技术与工具:MapReduce和Hadoop

这一章处理的是”分析方法之外”的问题:数据太大、太散、太不像表格时,前面几章的聚类、分类、回归怎么落地。答案是改变计算的场所,把处理搬到数据所在的机器上,用许多普通机器分担负载。MapReduce 给出的抽象极小:Map 逐块处理并输出中间键值对,Reduce 按键合并出最终结果;它只规定契约,不管实现。真正困难的是运行时——任务调度、错误恢复、输入分布、中间结果搬运、结果落盘,Hadoop 的价值就是把这些脏活变成框架的默认行为。MapReduce 的两步契约 这套契约的约束也很硬:Map 看不到全局,Reduce 只看得到一个键下的值,所以业务逻辑必须被改写成”分块独立算、再按键合并”,凡是需要跨键比较或反复迭代的步骤,都得串接多个作业。在此之前,它先按格式一致性把数据分成结构化、半结构化、准结构化、非结构化四档:结构化并不等于免预处理,列里仍可能藏着文本与图片;反过来,面向非结构化的工具也能处理规整数据,判断依据是能否切成独立分块,而不是数据有多脏。这条谱系决定了预处理的工作量,也决定了后面该选批处理还是实时存储。

存储侧是 HDFS。文件切成 64MB 的块,默认三副本跨机架放置,NameNode 记元数据、DataNode 存块,客户端问到块位置后直连读取,数据流不经过 NameNode。块大小与副本数这两个参数同时决定并行度、容错能力与存储成本:块大则并行粒度粗,块小则任务与元数据开销上升,三副本则意味着三倍存储换一次机器故障的免疫。NameNode 常驻内存带来性能,也带来单点故障;Secondary NameNode 只帮忙合并编辑日志,不能接班,真正的冗余要靠高可用配置。HDFS 的块与三副本

计算侧的关键在 shuffle。map 的输出被分区、按键排序、聚成值列表,再按键序交给 reducer,于是 reducer 的逻辑简化为”对一个键的整个列表做折叠”。围绕这一步长出三个调优杠杆:combiner 在 map 端先聚合,把一万个单次计数压成一个总和,但它必须满足结合律,求平均值这类运算要先化成和与计数;partitioner 决定键的归属,用得好可以按年份分文件或打散热点键,用得不好就让一个 reducer 独吞大半数据,整个作业被最慢的那个拖住。shuffle 的产物

生态的分层逻辑比组件名单更重要。Pig 与 Hive 是批处理的高层外壳,一个用数据流脚本、一个用类 SQL,最终都被翻译成 MapReduce,因此继承了批处理的高吞吐与高延迟;HBase 走另一条路,按行键实时读写,靠预写日志、MemStore 与 HFile 压缩实现低延迟,代价是必须按访问模式预先设计行键、控制列族数量;Mahout 把分类、聚类、协同过滤算法搬到集群内,避免把大数据搬进单机工具。理解”谁是通用、谁是专用”,比记住名字有用。Hadoop 生态的职责边界

边界也要说清。MapReduce 适合可切成互不依赖分块的批处理,迭代收敛型计算会被中间落盘拖慢,这正是 YARN 把资源管理与任务调度拆开、允许图计算等模型共享集群的动机;HBase 也不是关系库的替代品,它擅长按行键的窄查询,不擅长即席的多维分析,NoSQL 的键值、文档、列族、图四类各有取舍。HBase 的三维数据模型 把这些边界记住,才不会把工具当银弹。

本章其余要点:四种数据格式的谱系、横向扩展而非换大机器、MapReduce 计数执行链、分块独立才可并行、HDFS 的角色分工、副节点不是备份、运行时的三个角色、combiner 的预聚合、分区器与数据倾斜、YARN 拆开资源与调度、Pig 与 Hive 的外壳、HBase 的写入路径与墓碑、NoSQL 四类存储的取舍。

原书依据 · 18 处

第11章 高级分析技术与工具:数据库内分析

本章讨论的不是某种新算法,而是分析代码放在哪里执行。数据科学家的默认习惯是把表抽到R里再算,数据库内分析把这个顺序反过来:让SQL在存储数据的机器上完成过滤、连接、聚合乃至建模,只把结果带出来。数据库内分析是什么要抓住的正是这一点——省掉的是导出、传输、导入这三段搬运,换来的是结果与库内最新数据同步,因而欺诈检测、推荐、定向广告这类要求近乎实时的场景才做得起来。但这个优势不是无条件的,把计算搬进数据库的权衡才是全章的判断主线:数据越大,搬运越贵,库内计算越划算;可数据库的算力、SQL的表达力、调试便利性都不如外部工具,重计算压在生产库上还会伤及线上业务。合理的做法是分层:能就地缩小的先缩小,收敛后的小结果再交给R精调。

要理解SQL为什么长这样,得回到关系模型。订单场景被拆成订单、客户、产品、类别等表,用ID互相引用,好处是省空间、改一处即可修正全表、新产品可以先于订单存在,这套减少重复的做法叫规范化。事务库为何不胜任分析指出了它的反面:为插入和更新优化的库并不擅长即席查询,所以数据仓库反而常把表合并成更宽的表,容忍冗余换取扫描效率。同一份数据,面向事务与面向分析要两种形状,这本身就是数据布局层面的权衡。

SQL的能力是按层次叠上去的。连接把分散在多表的列拼成一行,外连接加空值判断才能回答没有下过订单的客户是谁;集合运算符在行集之间做并、交、差;GROUP BY加聚合把行压成汇总,ROLLUP、CUBE、GROUPING SETS再补上小计与总计;窗口函数则在保留明细行的前提下计算排名与滑动平均,窗口函数与滑动窗口的关键是OVER里的排序、分区与帧定界,序列两端窗口自动变窄是它的自然结果,而不是缺陷。文本数据靠正则进入这套流程:先校验与清洗,再参与连接和聚合。

再往上就是扩展数据库本身。用户定义函数补上库内缺失的标量逻辑,用户定义聚合靠状态转移函数把上一期的结果带进下一期,EWMA这类递推平滑因此能在窗口里跑。MADlib走得更远,把回归、聚类、主题模型、ARIMA整批搬进库内并行执行,MADlib与MAD理念所对应的Magnetic、Agile、Deep,其实是数据底座对多源、快变、深度计算的三项要求。它的k均值示例也提醒了边界:坐标直接取自原始量纲时,数值大的销量会支配距离,聚类前必须缩放。可见库内分析并没有消除数据准备的功课,只是把功课换到了SQL里。

本章其余要点:规范化拆表的三个好处、连接类型与NULL陷阱、集合运算符与子查询、分组扩展与小计总计、正则表达式操作参考、正则的脆弱性、用户定义函数与聚合、排序聚合求中位数、库内k均值聚类的陷阱、数据库内分析的能力阶梯。

原书依据 · 15 处

第12章 结尾

实施是生命周期的第六阶段,也是最容易被技术团队轻视的一段。到这里模型已经定型,剩下的工作看起来只是汇报,但恰恰是这一步决定前面的投入有没有兑现。讲不清就没人看见价值 指出的是这个落差:分析的正确性只在团队内部成立,一旦离开团队,价值要靠受众的理解来确认。所以本章的落点不是分析技术,而是把分析转译成决策材料——同一批结果,要先想清楚谁要拿它做什么决定,再决定讲多深、讲多长。

组织层面的第一个动作是收敛范围。试点先小范围跑起来 把模型放到一条业务线或一类受影响用户上运行,用真实环境暴露数据延迟、资源竞争和流程接口的问题,并让负责生产环境的工程师提前进场。这与演示不同:演示追求说服,试点追求暴露。先在可控范围里学到东西再推广,本质上是把学习成本压在可承受的规模上;跳过这一步直接全量上线,等于把试错代价一次押在最大范围。判定能否推进的依据,是团队能否把收益量化并以令人信服的方式讲给利益相关者,所以量化不是收尾的装饰,而是立项推进的前提。

交付物按角色切分。七类利益相关者的关切有重叠,可以归并成四份东西:给项目发起人的演示、给分析师的演示、有良好注释的代码、技术规范。受众决定详略 给出分层的依据——面向高管要短、要快进结论、要说清对组织的价值;面向有定量背景的受众则要展开方法论与试验细节,因为他们要判断方法是否成立、能否迁移。一套核心材料分级复用 进一步说明不必写两套:目标、主要发现、模型描述三部分事实同源,可以直接共用;方法、关键论点、模型细节、建议才需要按受众重写。这里的关键判断是复用内容而不是复用排版,因为两份文档要辩护的东西并不相同。

讲法上有几处具体技巧,背后的理由都是读者不在场。用现状、复杂性、意义三句话补回项目背景,是因为交付物会在组织内流转,最初的发起人可能调岗或离职,背景随之丢失,后来的读者只能靠这三句话重建判断依据。把收益折算成金额、工时或获客成本,是因为价值巨大这类说法无法比较、进不了预算讨论,而一个具体数字能被发起人复述、能挡回质疑。执行总结在立项时就写、随项目推进迭代,则是把沟通前置成项目活动,让团队持续被追问结论到底是什么。

视觉部分是另一半,也是最容易做过头的地方。图表类型应由数据关系与要传的信息共同决定:组成部分对整体用饼图,项目比较用条形图,时间序列用线图,频率用直方图,变量关联用散点图;饼图只在两三个项目且受众是发起人时用。选错的代价不是难看而是误导,读者会从错误的视觉编码里读出并不存在的结论。删掉图表垃圾 给出清理路径:去掉无信息的网格线与装饰、把主体压成浅灰退到背景、只给要点上高对比强调色、补足图例与标签,并拒绝三维透视——透视会扭曲尺度,读者要花时间判断角度而不是比较长度,而比较长度才是图存在的理由。

本章其余要点:执行总结边做边写、三步说明为什么是现在、效益要落到可核算的数字、图表按数据关系选、技术文档按接口写。

原书依据 · 10 处

跨章综合

“前提假设”是贯穿全书的同一条判断线。 k 均值假定簇是凸的、均值有意义(第4章);OLS 假定误差独立同方差且正态(第6章);朴素贝叶斯假定属性在类内条件独立(第7章);ARIMA 假定序列平稳(第8章);词袋假定词序不重要(第9章);MapReduce 假定分块可独立处理(第10章)。每一条假设都有对应的诊断手段:WSS 曲线、残差图、混淆矩阵与 ROC、ACF/PACF、主题一致性、倾斜的分区。方法选错往往不是算法错,而是假设不成立却没人检查。

数据形态决定方法形态,这条线从第1章一直拉到第10章。 结构化数据可以用 SQL 与回归,半结构化要解析,非结构化要靠文本流水线或 MapReduce 这类横向扩展的框架。第11章的选择(把计算放进数据库还是搬到外面)本质上是同一问题的另一面:数据移动的成本与算力分布的权衡。

“描述”与”预测”的分界决定评估方式。 聚类与关联规则不预测,因此没有准确率可报,只能用内部指标(WSS、轮廓)与业务可解释性判断;回归、分类、时间序列要预测,因此必须划分训练/测试、看泛化误差、按错误代价选阈值。把描述性结果当成预测性结论(例如把高置信度规则当作因果),是书里反复警告的误用。

评估口径必须与业务代价对齐。 第7章指出精确度在类别极不均衡时会骗人,阈值应按两类错误的代价来定;第12章把这条推到项目层面:效益要落到可核算的数字,否则再漂亮的模型也无法通过实施阶段的检验。技术指标与业务指标之间不存在自动换算,这一步只能靠人做。

发散与实践

以下为读者延伸,不是作者主张,也未实际执行;四张实践卡的书中依据、行动步骤与验证办法见 ideas/ 目录。

  • ideas/idea-001-生命周期耗时审计.md:用第2章的六阶段给自己的一个在研项目做耗时审计,验证”发现与数据准备占一半以上”是否在自己身上成立。
  • ideas/idea-002-聚类前的量纲与属性自查.md:用第4章的诊断清单,在同一份数据上做换单位、删相关属性的对照实验,量化簇结构对预处理决策的敏感度。
  • ideas/idea-003-文本流水线的可复现骨架.md:按第9章的六步流水线,在小语料上跑通 TFIDF 与主题模型,并检验停用词与文档长度对结果的偏置。
  • ideas/idea-004-交付物分级复用.md:用第12章的交付物结构,把同一份分析结论改写成发起人版与分析师版,检验”一套核心素材分级复用”的可操作性。
生成进度与管理记录

数据科学与大数据分析 数据的发现 分析 可视化与表示

评级:经典原理(信息浓度高 × 稳定性中高)

评级理由:全书的重心在方法的成立条件而不在工具用法。k 均值为什么对量纲敏感、置信度为什么会把”后件本身高频”误判成强关联、OLS 的四条误差假设各自支撑哪一条推断、ARIMA 为什么必须先处理平稳性、朴素贝叶斯的条件独立假设在属性相关时如何系统性放大证据、MapReduce 的适用性为何取决于”分块能否独立处理”——这些判断不随软件版本变化。稳定性并非全书一致:第3章的 R 函数默认值、第10章的 Hadoop 生态格局(2014 年前后)、第11章的 PostgreSQL/Greenplum 语法与 MADlib 版本,都会随时效失效。因此阅读策略是”方法看第2、4–9、12章,工具按需查第3、10、11章”。

执行模式:light

建档进度:done

全文阅读:序、前言与 12 章正文全部通读(spine 119 项中,实质正文 13 项章节单元、约 332,624 个非空白字符;逐章按 Go nodeText + Fields 归一化口径读取),非正文 11 类逐项排除(目录、版权页、内容提要、致谢、译者与审校简介、出版方社区页等)。

整书笔记:_book_note.md(17 个 section:全书导读、全书主线、序与前言、12 章正文、跨章综合、发散与实践;171 张卡的 primary 位置与 171 处原书出处已登记)

覆盖记录:_coverage.md

工作流交接:_workflow.md

章节进度追踪表

章节号 章节标题 状态 卡片数
00 序与前言 done 2
01 第1章 大数据分析介绍 done 10
02 第2章 数据分析生命周期 done 15
03 第3章 使用R进行基本数据分析 done 24
04 第4章 高级分析理论与方法:聚类 done 8
05 第5章 高级分析理论与方法:关联规则 done 13
06 第6章 高级分析理论与方法:回归 done 13
07 第7章 高级分析理论与方法:分类 done 18
08 第8章 高级分析理论与方法:时间序列分析 done 8
09 第9章 高级分析理论与方法:文本分析 done 17
10 第10章 高级分析技术与工具:MapReduce和Hadoop done 18
11 第11章 高级分析技术与工具:数据库内分析 done 15
12 第12章 结尾 done 10

非正文排除

spine项 类型 排除理由
titlepage.xhtml 封面 仅含封面图,无文字正文
text/part0000.html 目录 全书章节与页码索引,无实质内容
text/part0001.html 版权信息 书名、ISBN、出版方声明
text/part0002.html 版权声明 原书版权与授权说明
text/part0003.html 内容提要 图书宣传文案
text/part0005.html 主要贡献人 作者与贡献者简介
text/part0006.html 致谢 致谢名单
text/part0007.html 译者简介 译者履历
text/part0008.html 主审人员简介 审校者履历
text/part0009.html 审校人员名单 机构署名
text/part0023_split_*.html 出版方社区页 异步社区介绍与购书引导

待关联术语

术语名 出现章节 一句话语境
lattice 03 与 ggplot2 并列的 R 绘图包,仅提及其 densityplot() 可替代密度图
VARIMA 08 8.3 节列出的多元时间序列扩展,只说明用向量形式推广 ARIMA
隐马尔科夫模型 10 Mahout 分类算法清单中的一项,未展开原理
冠层聚类 10 Mahout 聚类算法清单中的一项,仅列名
模糊k均值 10 Mahout 聚类算法清单中的一项,仅列名
期望最大化(EM) 10 Mahout 聚类算法清单中的一项,仅列名

引用文献

标题 类型 出现章节 一句话语境
Big Data: The Next Frontier for Innovation, Competition, and Productivity(McKinsey,2011) 报告 01、02 被引作大数据的权威定义来源,”必须采用新的技术架构”即出自此
The Digital Universe in 2020(IDC,2013) 报告 01 用于说明数据总量的增长速度
The Power of Habit(Duhigg,2012) 书 01 Target 用购物记录推断怀孕一例的叙述来源
Data Scientist: The Sexiest Job of the 21st Century(Davenport & Patil,2012) 文章 02 数据科学家角色的流行定义出处
CRISP-DM 方法 02 数据分析生命周期借鉴的既有流程框架之一
DELTA 框架(Davenport) 方法 02 从组织技能、数据与领导者参与三方面设定分析问题
Some Methods for Classification and Analysis of Multivariate Observations(MacQueen,1967) 论文 04 k 均值算法的原始出处
Mining Association Rules Between Sets of Items in Large Databases(Agrawal 等,1993) 论文 05 关联规则挖掘的奠基论文
Get Out the Vote(Thomas、Pang、Lee,2006) 论文 07 分类器在文本标注任务上的应用示例
A Comparison of Document Clustering Techniques(Steinbach 等,2000) 论文 09 文档聚类方法比较,用于说明文本表示后的聚类路线
Apache Hadoop 官方文档 文档 10 HDFS 与 MapReduce 实现细节的引用来源
MAD Skills: New Analysis Practices for Big Data(Cohen 等,2009) 论文 11 MADlib 与”库内分析”理念的出处
Visualize This(Yau,2011)/Say It with Charts(Zelazny,2001)/Now You See It(Few,2009) 书 12 图表选型与可视化表达的三本参考
The Minto Pyramid Principle(Minto,2010) 书 12 演示文档的结论先行结构依据

资金安全问题案例

问题标题 问题卡 解决方案卡(如有) 出现章节 一句话说明
— — — — 本书不涉及支付/账务并发场景,无此类案例

实践卡进度

序号 实践标题 实践方式 状态 关联章节 产出
1 生命周期六阶段的耗时审计 真实任务 done 第2章 ideas/idea-001-生命周期耗时审计.md
2 聚类前的量纲与属性自查 最小实验 done 第4章 ideas/idea-002-聚类前的量纲与属性自查.md
3 文本流水线的可复现骨架 最小实验 done 第9章 ideas/idea-003-文本流水线的可复现骨架.md
4 交付物分级复用 真实任务 done 第12章 ideas/idea-004-交付物分级复用.md

实践候选筛选:done

未采用候选与原因:第7章的阈值—代价曲线实测(需要真实业务的假阳性/假阴性成本,本轮无法取得可核验代价数据)、第10章的 MapReduce 词频统计(需要多节点集群,单机伪分布式无法验证横向扩展结论)、第11章的库内分析与 R 端流程对比(需要装 PostgreSQL + MADlib 环境,超出最小实验成本)。

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

暂无公开主题。