此笔记位置已失效,请从目录继续阅读。
全书导读
数据科学的难点不只是从表里训练出一个模型,而是把值得回答的商业问题、能支持回答的数据和成立条件连接起来。观测到用户购买更频繁,可能来自价格、季节、用户构成或策略;预测准确并不自动告诉我们哪一种改变会带来收益。本书用具体案例把业务问题转为量化框架,再用Python或SQLFlow展示实现。
阅读时可沿三种问题前进:描述与预测“发生了什么、将发生什么”;解释“模型依据什么给出预测”;识别“如果改变某策略,结果会怎样”。三者互相帮助,却不能互相替代。书中2021年的软件依赖和示例输出保留历史语境,本文不把它们冒作现行接口或已复现实验。
全书主线
第一部分以已经发生的数据为起点:离散选择模型解释有限选项的选择概率,生存分析把等待时间和未完成观测纳入模型,LTV把交易行为转为明确时间窗口的价值目标;场景挖掘与矩阵分解寻找交互和低维结构。第6章进一步问:若无法随机分流,能否用适当对照和稳定性假设构造没有策略时的基线?
第二部分从不可同时观察的潜在结果出发,通过随机分流获得期望上可比的组,用区组减少可解释噪声,并在干扰、可逆性及公平限制下调整随机化单位和时间安排。第三部分用SQLFlow连接取数、模型调用、解释和聚类,降低接口成本。接口越方便,越需要清楚目标、单位、时间窗口和评价设计,才能避免把成功运行误当有效结论。
flowchart TD
A[商业问题与决策对象] --> B[明确指标和比较]
B --> C{数据与设计条件}
C -->|历史观测| D[预测结构与条件基线]
C -->|可随机化| E[实验与适配设计]
D --> F[估计 解释 不确定性]
E --> F
F --> G[业务判断与后续验证]
H[SQLFlow等工具] --> F
序一
序一用路径与开车的比喻,把数据科学解释为商业方向、量化依据及技术实现的交叉。教育与企业分别拥有部分资源,脱节使实际训练困难。
数据科学连接三要素:数据科学把商业理解、量化模型和数据技术连接起来:商业理解决定哪些问题值得回答,量化模型给出可检验的表达与假设,数据技术让取数、估计与复现成为可能。只会建模可能优化了错误目标,只会操作也不能保证结论科学。三者是相互约束的能力,不是依次完成后就不再回头的流水线。
数据科学连接三要素保留进一步说明及原书证据。
原书依据 · 1 处
序二
序二从行业分析师使用AI的困难切入,解释SQL抽象层与SQLFlow的起源;目标是帮助有行业知识的人使用模型,并非替代商业理解。
前言
前言定义本书的目标:把开放商业问题映射为合适的量化框架,连接原理、代码与解读;三部分分别处理观测、实验和工程工具,并给出勘误仓库。
商业问题先收敛再建模:开放商业问题往往没有现成的目标变量。先说明希望改变的业务结果、可干预对象和比较对象,再结合数据可得性与方法假设把问题收敛为可估计的问题。这个过程需要往返:业务限制决定方法能否使用,模型的假设也会迫使业务问题改写。能训练出模型并不等于已回答原来的决策问题。
商业问题先收敛再建模保留进一步说明及原书证据。
原书依据 · 1 处
第一部分 观测数据的分析技术
第一部分导语区别非随机观测与实验,指出框架设计须先界定目标与数据,再处理混杂及无法测量因素。
观测分析先设计框架:观测数据是在自然状态下记录的,研究者通常不能随机安排处理。分析前应明确背景、目标、方法、数据收集与处理,并识别混杂、偏倚及未测协变量带来的不确定性。先有历史数据仍然需要设计分析框架;把相关因素都塞进回归不能自动消除不可观测的混杂。
观测分析先设计框架保留进一步说明及原书证据。
原书依据 · 1 处
第1章 如何分析用户的选择
第1章以日常与商业中的选择为对象,承诺从选择理论走向可估计、可解释的模型。
1.1 深入理解选择行为
从家庭旅行的成本、时长与收入差异出发,建立理性选择、效用最大化与揭示性偏好的关系,再把选择映射为决策者、选项和属性组成的模型簇。
效用最大化与揭示性偏好:理性人选择理论认为决策者会为每个备选项计算效用(满足感的量化),并选择效用最大的一项,这一过程称为效用最大化。但效用本身无法直接观测,揭示性偏好理论解决了这个矛盾:只要预算、价格等条件不变,消费者的历史选择行为本身就”揭示”了偏好——被选中的选项效用一定最高。这让分析师可以通过统计历史选择数据反推影响效用的因素,为离散选择模型提供了可估计的理论基础。
效用最大化与揭示性偏好保留进一步说明及原书证据。
DCM的模型簇结构:离散选择模型(DCM)把选择过程形式化为:选择结果=F(决策者,备选项集合,备选项属性),其中F是效用最大化准则。DCM并非单一模型,而是一个模型簇——逻辑回归、多项Logit(MNL)、嵌套Logit(NL)等具体模型分别对应不同的选择场景(二选一、多选一、有层次结构的选择)。选错模型会让分析结果产生系统性偏差,需要结合业务逻辑和数据反馈谨慎选择。
DCM的模型簇结构保留进一步说明及原书证据。
1.2 DCM详述
随机效用把不可观测因素纳入选择概率;确定效用可按属性角色与交互设计。Logit系列以计算可行的概率形式估计参数,随后讨论极大似然和IIA限制。
Logit与Probit的分野:DCM的模型簇结构把效用拆成确定部分V和随机部分ε,不同随机项假设产生不同选择概率。Probit采用正态误差;标准多项Logit采用独立同分布的第一类极值误差,其两项误差之差服从logistic分布,因此得到闭式概率。原书把相关分布统称为“Logit分布”,这里区分误差本身与误差差值,避免把二分类表述直接套到多项模型。
Logit与Probit的分野保留进一步说明及原书证据。
IIA假设与红蓝巴士悖论:DCM的模型簇结构中的MNL满足无关选择独立性(IIA):两个选项的概率比不随其他选项改变。红蓝巴士例中,原来开车与蓝巴士为2∶1,加入相同的红巴士后,MNL维持车与蓝巴士之比,同时令红蓝各半,得到车1/2、两种巴士各1/4;直觉上车应保持2/3。相似选项的相关性可能破坏该假设,需评估替代结构,嵌套Logit是候选方案。
IIA假设与红蓝巴士悖论保留进一步说明及原书证据。
备选项特定常数ASC:当决策者对某个备选项存在无法被属性(价格、耗时等)解释的固有偏好时,DCM的模型簇结构的效用函数需要加入一个备选项特定常数ASC(Alternative Specific Constant)。ASC捕捉的是”选择这个选项本身”带来的偏好,而不是它有什么客观属性——比如即使各方面条件都对齐,有人还是天然更爱坐火车。加入ASC让DCM从”纯属性驱动”的理想模型,扩展为更贴近真实选择行为的模型。
备选项特定常数ASC保留进一步说明及原书证据。
效用设计区分属性角色:随机效用模型把效用写成可观测的确定部分与未观测的随机部分。确定部分可包含选项属性、决策者属性及交互;不同选项可共享系数,也可按业务含义分别估计。例如公共交通与自驾的时间系数可以不同。ASC是相对参考选项的常数偏好,不能直接解释成某个客观属性的影响。
效用设计区分属性角色保留进一步说明及原书证据。
极大似然拟合选择概率:离散选择模型为每次实际选择分配一个概率。极大似然估计寻找参数,使这些已观察选择的联合概率最大;取对数把乘积转为求和,通常更易计算。它优化的是给定模型与假设下的数据解释程度,不保证模型正确或具备因果解释。驻点能否成为有限、可识别的最优解仍取决于数据和模型条件。
极大似然拟合选择概率保留进一步说明及原书证据。
红蓝巴士例子说明相似选项出现后,IIA可能强迫不合理的替代比例;模型解释还可以固定条件重算属性变化前后的概率。
边际概率需重算模型:评估某个属性的边际影响,可以固定其他属性,先计算原情形各选项概率,再改变该属性并重算,比较每个选项的概率差。非线性的选择模型中,同一个系数并不对应所有人的同一概率变化;应说明变化幅度、基准情形和被固定的条件。该比较是模型条件预测,不自动等于真实干预效果。
边际概率需重算模型保留进一步说明及原书证据。
1.3 DCM模型的Python实践
从statsmodels与pylogit的入口讲起,解释一次选择一行的宽表与每选项一行的长表;转换须有观测ID、选项ID、选择标识和可用性,再进入数值化与缺失处理。
选择数据的长格式与宽格式:离散选择建模的数据有两种组织方式:宽格式一行代表一次完整的选择,每个备选项的属性平铺成不同列,逻辑回归等多数机器学习模型用的是这种格式;长格式一行只代表一次选择中的一个备选项,用0/1标记该项是否被选中,多项Logit、嵌套Logit等模型需要这种格式。同一份数据可以通过工具在两种格式间互相转换,选哪种格式本质上取决于下游模型要不要把”选项”当作独立的观测单位。
选择数据的长格式与宽格式保留进一步说明及原书证据。
数据清洗之后用单变量检验、AUC与VIF辅助筛选,再建立带参考类别及截距的LR模型并拆分训练测试;代码展示一个具体流程,不证明自动选变量的普适性。
共线性检验的VIF阈值:建模前需要检验自变量之间是否存在共线性——两个变量高度相关会让参数估计变得不稳定,削弱模型的可解释性和泛化能力。常用的判断标准是方差膨胀因子(VIF),经验上VIF超过10就认为共线性较强,需要处理,最简单的方式是从共线的变量组里剔除多余变量,只保留单变量分析中解释力(如AUC)最高的那一个,再进入正式建模。
共线性检验的VIF阈值保留进一步说明及原书证据。
选择建模先整理观测单位:选择模型的数据准备应先明确一次选择和可用选项,再处理缺失、数值编码及离散变量,按模型要求组织长宽表;拟合时保留参考类别和截距的解释。训练与测试的分离用于检查泛化,显著性和AUC分别回答参数证据与区分能力,不能互相替代。书中的逐步删变量只是案例路线,不能把一次测试集改善当成普遍选模规则。
选择建模先整理观测单位保留进一步说明及原书证据。
LR修正模型后,系数先转换成几率比;多项Logit则需要在长表里声明每类选项的效用与共享参数,参考选项承担识别基准。
逻辑回归系数的几率解读:逻辑回归的几率是p/(1-p),不同于概率p。保持其他条件不变,属性增加一单位,几率变为原来的exp(β)倍,相对变化为exp(β)-1。例如β=0.0266,对应几率约增加2.7%,并非概率增加2.7个百分点。涉及交互项或多项选择时须按实际效用式与比较选项解释,不能把二分类的口径无条件套用。
逻辑回归系数的几率解读保留进一步说明及原书证据。
MNL通过更改火车耗时来重算群体选择概率,报告的差是百分点。NL引入航空/地面层次,分支及其参数须与数据检验相符,不因更复杂就自动更科学。
嵌套选择分解层次概率:嵌套Logit把相似选项放入同一层次结构。例如先区分航空与地面交通,再在地面交通内选火车、巴士或自驾;一个地面选项的概率由进入该分支的概率与分支内条件概率相乘得到。层次要有业务依据,并检查模型约束和拟合;不满足MNL的IIA并不意味着随意添加一个嵌套就必然正确。
嵌套选择分解层次概率保留进一步说明及原书证据。
1.4 本章小结
本章小结回扣经济假设、模型要素与三种选择模型的实操,强调从估计到业务解读的完整链条。
第2章 与时间相关的行为分析
第2章把对象从是否发生一次选择扩展到事件发生的时间,生存分析利用未完成的观测而不只看某个截面。
2.1 生存分析与二手车定价案例
二手车利润同时受售价和库存时间成本影响,固定截面标签难以保留时间与调价信息。生存曲线把不同价格下的未售概率接入成本,而不是只求一个成交分类。
生存分析解决截面回归的盲点:普通截面分类通常只回答固定窗口内事件是否发生,难以直接利用“等了多久仍未发生”的信息。生存分析联合处理事件与等待时间,并纳入删失与右删失,适合库存周转或流失分析。它提供的是时间到事件的框架,仍需合适的删失假设、时间变化处理及协变量设计;不是所有回归都不能处理时间,也不因换框架就自动识别调价的因果效果。
生存分析解决截面回归的盲点保留进一步说明及原书证据。
生存预测接入库存成本:库存占用越久,仓储维护成本越高。若每日成本固定,期望存放时间可由未售出概率曲线下的面积得到,再与售价和收购成本合成利润。模型预测必须对应给定价格与观测窗口;用中位出售时间代替期望时间、再把售出概率硬判为0或1,已改变目标函数,不能冒称精确期望利润。
生存预测接入库存成本保留进一步说明及原书证据。
2.2 生存分析的理论框架
先界定起始/终点事件、时间、删失及风险集,再区分生存概率、瞬时风险、累积风险与中位时间。KM和参数模型估计曲线,对数秩比较组别;Cox以比例风险及部分似然调整协变量。
删失与右删失:生存分析中,若某个研究对象在观察窗口结束时仍未发生关注的终点事件,或因其他原因中途脱离观测(如二手车中途被调价,此后销售情况不可再追踪),这种”知道观测起点、不知道终点具体时间”的情形称为右删失。生存分析解决截面回归的盲点的关键就在于它能把这类不完整观测也纳入模型一起利用,而不是像一般回归那样简单丢弃或强行按截面二分类处理。
删失与右删失保留进一步说明及原书证据。
生存函数与风险函数:生存函数S(t)=P(T>t)表示到t仍未发生事件的概率,随时间不增。连续时间的风险函数h(t)=f(t)/S(t)是“已存活到t”条件下的瞬时发生率,具有每单位时间的量纲,可以大于1,不是恰好在某一点发生事件的概率。累积风险H(t)=-ln S(t)把瞬时风险累积起来;由此可相互换算,但有限随访中的估计曲线未必降到0。
生存函数与风险函数保留进一步说明及原书证据。
半衰期作为生存指标:中位生存时间是生存曲线首次降到50%对应的时间;其他分位数可类似定义。存在删失与右删失时,直接平均已发生事件者的时间可能失真,分位数应从恰当估计的生存曲线读取。若随访结束时生存率仍高于50%,中位数尚未达到,不能硬读一个有限值;中位数也不等于期望生存时间。
半衰期作为生存指标保留进一步说明及原书证据。
KM曲线的非参数估计与局限:KM曲线(Kaplan-Meier曲线)不对生存时间的分布做任何假设,直接用各时刻”风险中未发生事件的比例”逐段相乘来估计生存函数,优点是直观、能对不同分组的曲线做直接对比。但它只能处理单一分类变量的对比,无法在存在多个混杂变量时把各自的影响分离开,所以常配合对数秩检验判断组间差异是否显著,而不能替代多变量建模。
KM曲线的非参数估计与局限保留进一步说明及原书证据。
Cox比例风险模型的半参数结构:Cox模型写为h(t;x)=h0(t)exp(βx):基准风险h0(t)不预设具体分布,β是参数,因此称半参数模型。固定协变量时,不同个体的风险比不随时间改变,这是比例风险假设。它能同时调整多个已观测变量,超越KM曲线的非参数估计与局限的简单分组比较;调整后的关联仍不自动成为因果效应,也不能忽略未测混杂。
Cox比例风险模型的半参数结构保留进一步说明及原书证据。
Cox系数的危险保护解读:保持其他协变量不变,Cox模型中的连续变量增加一单位,风险率变为原来的exp(β)倍,相对变化为exp(β)-1。β>0对应更高事件发生率,β对应更低事件发生率;“危险”“保护”的业务含义取决于终点事件,例如售出更快未必是坏事。它与逻辑回归系数的几率解读都用指数换算乘性关系,但风险比和几率比不可混为一谈。
Cox系数的危险保护解读保留进一步说明及原书证据。
参数法与非参数法的生存函数估计:若假定生存时间服从某种分布(如指数分布假设风险率恒定不随时间变化,威布尔分布允许风险率随时间单调递增或递减),可以用参数法直接拟合分布参数,得到光滑且可外推的生存/风险函数;而KM曲线等非参数法不作任何分布假设,更贴近真实数据但曲线是阶梯状的,外推能力弱。两者的取舍本质是”用假设换平滑性和可预测性”与”少假设但只能描述观测区间内现象”之间的权衡。
参数法与非参数法的生存函数估计保留进一步说明及原书证据。
风险集随事件删失变化:风险集是某一时刻仍被观测且尚未发生目标事件的对象集合。已发生事件或已删失的对象不再进入该时刻之后的风险集。例如100辆车中40辆售出、4辆调价后退出原价格观测,剩56辆在风险中。估计生存率时,分母应随这些退出更新,不能始终用最初样本量。
风险集随事件删失变化保留进一步说明及原书证据。
对数秩检验比较生存曲线:对数秩检验在两组或多组共有的事件时点,比较观察到的事件数与“各组具有同样生存规律”时的期望事件数,累积差异形成检验统计量。它用于判断曲线差异的统计证据,不能排除未控制的混杂;不显著也不证明两组完全相同,仍要看样本量与不确定性。
对数秩检验比较生存曲线保留进一步说明及原书证据。
累积风险按风险集累加:Nelson-Aalen方法在每个事件时点累加“该时点事件数/风险中数量”,估计累积风险H(t)。它与直接逐段相乘得到生存率的KM方法表达不同;连续时间下H(t)=-ln S(t)。累积风险不是累计事件概率,数值可以大于1;使用时仍需考虑删失机制与观测范围。
累积风险按风险集累加保留进一步说明及原书证据。
Cox部分似然比较风险集:Cox模型不必先指定基准风险率的具体形状。部分似然在每个实际发生事件的时刻,把该对象的相对风险与当时风险集内所有对象的相对风险比较,利用这些比较估计回归系数β。基准风险在比值中消去;要预测绝对生存曲线仍需估计基准生存或基准累积风险,单有β不够。
Cox部分似然比较风险集保留进一步说明及原书证据。
原书依据 · 13 处
- 第2章 与时间相关的行为分析 2.2 生存分析的理论框架 · 查看原书依据
- 第2章 与时间相关的行为分析 2.2 生存分析的理论框架 · 查看原书依据
- 第2章 与时间相关的行为分析 2.2 生存分析的理论框架 · 查看原书依据
- 第2章 与时间相关的行为分析 2.2 生存分析的理论框架 · 查看原书依据
- 第2章 与时间相关的行为分析 2.2 生存分析的理论框架 · 查看原书依据
- 第2章 与时间相关的行为分析 2.2 生存分析的理论框架 · 查看原书依据
- 第2章 与时间相关的行为分析 2.2 生存分析的理论框架 · 查看原书依据
- 第2章 与时间相关的行为分析 2.2 生存分析的理论框架 · 查看原书依据
- 第2章 与时间相关的行为分析 2.2 生存分析的理论框架 · 查看原书依据
- 第2章 与时间相关的行为分析 2.2 生存分析的理论框架 · 查看原书依据
- 第2章 与时间相关的行为分析 2.2 生存分析的理论框架 · 查看原书依据
- 第2章 与时间相关的行为分析 2.1 生存分析与二手车定价案例 · 查看原书依据
- 第1章 如何分析用户的选择 1.3 DCM模型的Python实践 · 查看原书依据
2.3 生存分析在二手车定价案例中的应用
生存分析表同时记录时长、终点标识与协变量;案例先绘制和比较分组曲线,再用Cox拟合条件关联并预测个体曲线,中位数仅是其摘要。
单因素生存曲线对比需警惕混杂:用对数秩检验发现两组生存曲线显著不同,不能直接下因果结论。访问次数少的车卖得快,可能还因为价格或里程不同。Cox比例风险模型的半参数结构能调整模型中已测量的协变量,但仍要检查假设、时间顺序与遗漏因素;不能把“已控制几个变量”当成已消除一切混杂的证明。
单因素生存曲线对比需警惕混杂保留进一步说明及原书证据。
价格遍历代码把预测曲线转换成中位天数及硬性售出标签,再汇总收益;这与前面的期望面积目标不同。作者也声明数据为样例,不据此主张现实中售价越高越好。
2.4 本章小结
小结强调根据商业问题选择时间到事件的分析框架,不把医学来源限制成医学专用模型。
第3章 洞察用户长期价值: 基于神经网络的LTV建模
第3章将分析对象推进到用户生命周期内的价值,并以神经网络展示个体价值的预测。
3.1 用户长期价值的概念和商业应用
LTV以用户生命周期的货币贡献支持经营评价,阶段划分没有硬边界。观察窗口与运营策略改变价值口径;从简式、统计模型到网络的选择取决于假设与数据,而不是越复杂必然越准。
LTV的定义与用户行为估值法:用户长期价值(LTV)定义为用户与企业在整个生命周期内产生的全部经济收益之和。彼得·费德教授提出的基于用户行为的公司估值法认为,把所有用户未来价值预测出来再求和,就能较好评估公司整体价值——这把”公司值多少钱”这个抽象问题,转化成了”每个用户能带来多少钱”的具体问题,也是精细化运营时代把盈利目标下沉到用户维度这套管理思路的理论基础。
LTV的定义与用户行为估值法保留进一步说明及原书证据。
用户生命周期的五个阶段:用户与商业平台的互动可分为引入期(首次交易,从陌生到熟悉)、成长期(购买频次上升)、成熟期(稳定复购)、休眠期(受竞品等因素影响频率下降)、流失期(不再复购)五个阶段,彼此没有明确边界,具体时长因行业、运营策略、用户属性而异。用户在整个生命周期付费曲线下的面积就是LTV的定义与用户行为估值法,直观地把”长期价值”变成了一个可以用求和/积分方式计算的量。
用户生命周期的五个阶段保留进一步说明及原书证据。
LTV观察窗口的折衷:严格意义上的LTV要等用户彻底流失后才能算准,但这个时间跨度可能长达数年,业务等不起这么久才拿到可用信号。实务中常用截断的观察窗口作为近似替代,比如LTV90指90天内的付费总额、LTV180指180天,本质是用”提前拿到可用信号”换取”完全准确但太晚可用”这两者之间的折衷。这个思路在铁路、航空等用户很难主动流失的垄断行业尤其常见,因为等真实流失几乎不可能。
LTV观察窗口的折衷保留进一步说明及原书证据。
LTV计算方法的五级演进:LTV可用平均收入/流失率、线性回归、统计交易模型及神经网络等路线估计。它们的差别是数据要求、可解释性、函数表达与分布假设,而非准确率必然逐级提升。简单公式依赖稳定人群;统计模型用明确假设刻画异质性;网络能处理复杂序列但需要数据与验证。与黑盒模型与白盒模型的取舍一样,应按问题和可检验表现选择。
LTV计算方法的五级演进保留进一步说明及原书证据。
BG/NBD统计模型的分布假设:BG/NBD用两个过程描述重复购买:活跃时按个人交易率λ产生泊松购买,个人交易率在群体中服从gamma分布;每次购买后以概率p永久退出,p在群体中服从beta分布。书中把p的分布写成gamma,应予区分。它利用购买频次、最近购买时间和观察长度预测未来购买次数;金额需另建模型,且效果取决于假设是否适用。
BG/NBD统计模型的分布假设保留进一步说明及原书证据。
交易频次与金额分开建模:BG/NBD侧重交易次数,不能直接反映每次订单金额的差异。Gamma-Gamma模型补充交易金额的异质性,与频次预测结合才接近货币价值预测。组合仍有条件:例如频次与交易金额独立的假设若明显不适用,不能仅因分别拟合成功就相信组合后的LTV。
交易频次与金额分开建模保留进一步说明及原书证据。
原书依据 · 7 处
- 第3章 洞察用户长期价值: 基于神经网络的LTV建模 3.1 用户长期价值的概念和商业应用 · 查看原书依据
- 第3章 洞察用户长期价值: 基于神经网络的LTV建模 3.1 用户长期价值的概念和商业应用 · 查看原书依据
- 第3章 洞察用户长期价值: 基于神经网络的LTV建模 3.1 用户长期价值的概念和商业应用 · 查看原书依据
- 第3章 洞察用户长期价值: 基于神经网络的LTV建模 3.1 用户长期价值的概念和商业应用 · 查看原书依据
- 第3章 洞察用户长期价值: 基于神经网络的LTV建模 3.1 用户长期价值的概念和商业应用 · 查看原书依据
- 第3章 洞察用户长期价值: 基于神经网络的LTV建模 3.1 用户长期价值的概念和商业应用 · 查看原书依据
- 第4章 使用体系化分析方法进行场景挖掘 4.2 体系化分析常用工具 · 查看原书依据
3.2 基于Keras的LTV模型实践
零售数据先清理退货与缺ID、限定国家、整理首次交易与日内时间,再定义前28天特征及180天累计付费标签。将28天分为4周,每周交易序列截断填充以形成固定张量。
变长行为序列的截断与填充:不同用户在同一时间窗口内的购买次数差异很大,而神经网络的输入却要求固定形状。常见做法是”截断+填充”:设定一个统一长度,超过的序列只取前面部分,不足的序列用0补齐,从而把长度不一的行为记录统一转换成矩阵/张量形状。代价是会丢失过长序列尾部的信息,也会给短序列引入一堆无意义的填充值,是LTV的CNN-LSTM嵌套接收变长行为序列前必须接受的取舍。
变长行为序列的截断与填充保留进一步说明及原书证据。
预测窗口决定价值口径:LTV标签必须说明时间起点、累计窗口与收益口径。案例用首次购买后前28天行为预测前180天累计付费,标签包含输入期已发生的付费,不能解释为“第28天起未来180天的新增价值”。清除有退货用户也会改变目标人群;落地前须重新确认业务要预测的是收入、净收入还是利润。
预测窗口决定价值口径保留进一步说明及原书证据。
Keras以层组合表达网络:Keras提供高层网络API,将输入、卷积、递归与全连接层组合成模型,并将训练目标、优化器和回调配置与网络连接分开。Functional API适合显式连接内外两层模型,便于复用每周编码器。书中后端列表和安装方式属于写作时环境,不能据此断言当前版本仍兼容相同接口。
Keras以层组合表达网络保留进一步说明及原书证据。
按用户索引拆分并排序,训练集拟合缩放后测试集只变换。长尾目标取对数,按ID和周做笛卡儿补全后再分组截断填充,保证每周都有输入。
长尾目标变量的对数变换:长尾金额目标取对数后,大额值之间的绝对差距被压缩,案例的分布也更接近对称,有助于调整训练尺度。只适用于正值,且改变了优化误差的含义;对数空间的MAPE不等于金额空间的MAPE,反变换预测也不自动得到条件均值。是否改善LTV的CNN-LSTM嵌套的泛化,仍需独立评价与简单基线,不能只凭直方图判断。
长尾目标变量的对数变换保留进一步说明及原书证据。
训练预处理保留用户对应:先按用户ID拆分训练与测试,再只在训练特征上拟合缩放器,把同一变换用于测试特征。序列重排、分周和堆叠时始终携带用户ID,使输入顺序与目标顺序一致。缩放器若提前看见测试分布,或重排后把某人的输入配给另一人的目标,即使数组形状正确也会使评价失真。
训练预处理保留用户对应保留进一步说明及原书证据。
通过保留ID把各特征排列成用户/周/交易/特征张量;内层CNN-LSTM压缩周内序列,TimeDistributed复用到4周,外层双向LSTM再输出价值。训练监测验证误差进行早停。
LTV的CNN-LSTM嵌套:为同时处理周内交易序列和跨周变化,网络分里外两层:内层用一维卷积提取局部模式,再经LSTM压成每周向量;外层以TimeDistributed复用相同的内层模型,用双向LSTM聚合各周,接全连接层输出对数价值预测。这是多时间尺度编码的一种设计,并非LTV计算方法的五级演进中无条件最强的模型。
LTV的CNN-LSTM嵌套保留进一步说明及原书证据。
EarlyStopping以验证损失及patience控制停止,示例代码epochs=200而文字为100,保留为样例差异。损失趋稳只是训练过程描述,参与早停的集合不能作为独立测试结果。
早停需要独立评价数据:早停监测验证损失,若若干轮未改善就停止,减少继续拟合训练噪声的机会。参与早停选择的数据已用于调参,不能同时充当完全独立的最终测试证据。书中把X_test传给validation_data,是验证集的实际角色;还应预留未参与选择的测试数据,并明确是否恢复最佳轮次的权重。
早停需要独立评价数据保留进一步说明及原书证据。
原书依据 · 8 处
- 第3章 洞察用户长期价值: 基于神经网络的LTV建模 3.2 基于Keras的LTV模型实践 · 查看原书依据
- 第3章 洞察用户长期价值: 基于神经网络的LTV建模 3.2 基于Keras的LTV模型实践 · 查看原书依据
- 第3章 洞察用户长期价值: 基于神经网络的LTV建模 3.2 基于Keras的LTV模型实践 · 查看原书依据
- 第3章 洞察用户长期价值: 基于神经网络的LTV建模 3.2 基于Keras的LTV模型实践 · 查看原书依据
- 第3章 洞察用户长期价值: 基于神经网络的LTV建模 3.2 基于Keras的LTV模型实践 · 查看原书依据
- 第3章 洞察用户长期价值: 基于神经网络的LTV建模 3.2 基于Keras的LTV模型实践 · 查看原书依据
- 第3章 洞察用户长期价值: 基于神经网络的LTV建模 3.2 基于Keras的LTV模型实践 · 查看原书依据
- 第3章 洞察用户长期价值: 基于神经网络的LTV建模 3.1 用户长期价值的概念和商业应用 · 查看原书依据
3.3 本章小结
小结概括内层局部序列与外层跨周汇聚两种尺度,没有新增独立原理。
第4章 使用体系化分析方法进行场景挖掘
第4章提出用复杂预测模型捕获非线性与交互,再借解释提取可理解场景,以精细化分析替代只靠经验拆维度。
4.1 经验化分析与体系化分析
经验拆维度直观但交互组合成本高,体系化分析把复杂预测与可读解释分开;模型解释仍受保真度和业务假设限制。
经验化分析的维度诅咒:经验化分析依赖先验知识拆分性别、年龄等维度,再尝试交互组合。维度与取值一多,候选组合迅速增加,人工检查容易漏掉非线性场景或把偶然波动当规律。它适合低成本探索,复杂交互可借模型辅助;书中“超过3维难理解”是直观说明,不是人的能力硬上限,自动建模也不能免除业务判断。
经验化分析的维度诅咒保留进一步说明及原书证据。
体系化分析先预测后解释的两步法:体系化分析先用预测模型捕获非线性与交互,再用可解释模型近似它的输入输出关系,以回应经验化分析的维度诅咒。两步可分别优化预测和表达,但并非完全独立:黑盒预测误差、代理保真度及样本覆盖都会限制解释。这里的“为什么”是模型怎样给出预测,不自动回答现实中的因果原因。
体系化分析先预测后解释的两步法保留进一步说明及原书证据。
4.2 体系化分析常用工具
树的根、内部和叶结点以测试条件递归划分,不纯度指标影响局部选择,剪枝控制复杂度;代理用黑盒预测而非真实标签训练,场景树再可接线性解释。
黑盒模型与白盒模型的取舍:黑盒通常指难以直接理解输入输出关系的复杂模型,白盒通常指可直接检查规则或系数的模型。两者的精度与可解释性存在取舍,但不存在无条件的性能高低顺序。代理模型可以近似黑盒行为,仍需测量保真度和适用范围;获得一个好懂的解释,不代表揭示了全部内部机制,更不保证解释具有因果性。
黑盒模型与白盒模型的取舍保留进一步说明及原书证据。
决策树不纯度指标的选择逻辑:决策树通过不断寻找能让子结点”更纯”(同一类别样本占比更高)的特征来分裂数据,不纯度的度量方式决定了具体算法:ID3用信息增益,但天然偏向取值较多的特征;C4.5用信息增益比修正这个偏差;CART用基尼指数并只生成二叉树。三种指标本质上都在衡量同一件事——分裂前后类别分布的混乱程度下降了多少,区别只在数学形式和对特征取值个数的敏感度。
决策树不纯度指标的选择逻辑保留进一步说明及原书证据。
全局代理模型的解释逻辑:全局代理模型以原特征X为输入、黑盒预测ŷ为标签训练可解释模型,近似黑盒的输入输出行为。用R²等指标检查它对黑盒预测的保真度,而非直接检查对真实标签的准确率。R²=0.84表示在该评价样本上解释了84%的预测值变差,不能说还原了84%的内部机制;样本覆盖之外的行为也未被保证。
全局代理模型的解释逻辑保留进一步说明及原书证据。
场景挖掘框架的三段式组合:场景挖掘先训练黑盒预测,再以全局代理模型的解释逻辑拟合浅决策树,把根到叶的条件组合转成场景特征;可选地把场景哑变量和主变量放入线性回归量化关联。树深决定可读性与细分程度,回归要设参考场景。场景从同份数据发现又检验,会有选择偏差,不能把系数显著直接解释成干预效果。
场景挖掘框架的三段式组合保留进一步说明及原书证据。
决策树递归划分样本:决策树在结点上选一个测试条件,把数据分到子结点,重复这一过程。若样本已属同一类就成为叶子;无法再按属性区分时可用多数类标记,空子结点也需要回退规则。根到叶的路径把多个条件连接成一个判断,因此树既能预测,也能表达可读的场景;划分过程是可计算的局部选择,不等于搜索到全局最优树。
决策树递归划分样本保留进一步说明及原书证据。
flowchart TD
A[当前结点样本] --> B{仍需且能够划分}
B -->|是| C[选择测试条件]
C --> D[分配到子结点]
D --> A
B -->|否| E[生成叶子及预测]
剪枝权衡树的复杂度:树持续细分容易把噪声当规律。先剪枝在生长中用深度、样本数或增益阈值限制继续划分;后剪枝先生成较大树,再用更简单的叶或分支替换子树。限制过强会欠拟合,过松仍可能过拟合,因此应在未用于拟合的评价数据上比较,而不是以训练纯度越高越好。
剪枝权衡树的复杂度保留进一步说明及原书证据。
4.3 场景挖掘分析的应用与实现
共享单车数据先按年份、温度和天气探索,再用XGBoost预测并拟合场景树;类别编码与变量含义必须清楚,cnt的组成项不得作为自变量泄漏目标。
代理树的叶路径表示多个特征条件组合,叶子编号转为场景哑变量,可与主变量共同回归真实租赁数。R²度量保真而非机制还原百分比;发现与检验复用同份数据需谨慎。
4.4 本章小结
小结重申用自动模型挖掘细分场景,为预测之外的解释提供可复用手段。
第5章 行为规律的发现与挖掘
第5章从经验规则的颗粒度和主观性引出矩阵分解与聚类:用低维特征描述样本的共同规律,但降维目标不必然保证业务可解释或自动去除全部噪声。
矩阵分解作为体系化规律挖掘手段:矩阵分解把样本×特征的数据近似表示为较少的潜在方向及其组合权重,再据这些低维表示寻找共同模式。它可减少冗余,降低完全依赖人工规则的成本,但仍需选择数据粒度、尺度、损失和维数。低秩部分不必然都是有用信号,小分量也不必然都是噪声;“数据驱动”并不等于没有建模假设。
矩阵分解作为体系化规律挖掘手段保留进一步说明及原书证据。
原书依据 · 1 处
5.1 对有序数据的规律分析
从基和线性变换解释矩阵,再以特征向量方向及特征值伸缩解释可对角化情形;对任意矩阵转向SVD,利用奇异值平方累计比例选择近似秩。推导中的零奇异方向须补正交基,不能对零向量直接标准化。
特征值分解的几何意义:特征向量是线性变换后仍在同一直线方向的非零向量,满足Av=λv,λ是伸缩因子,负值还会翻转方向。拥有足够线性无关特征向量的方阵可写成A=VΛV⁻¹,依次表示换基、缩放与换回;实对称矩阵可选正交特征基。一般矩阵未必可对角化,特征值大小也不能脱离具体任务解释成信息重要性。
特征值分解的几何意义保留进一步说明及原书证据。
SVD推广到非方阵:任意实m×n矩阵都可作奇异值分解A=UΣVᵀ:U、V为正交矩阵,Σ的非负对角元为奇异值。V的列来自AᵀA的正交特征向量,奇异值是相应非负特征值的平方根;非零奇异方向有Avᵢ=σᵢuᵢ,零方向须补齐正交基。奇异值不是A本身的特征值。
SVD推广到非方阵保留进一步说明及原书证据。
保留top-k奇异值降维:将SVD推广到非方阵的奇异值降序排列,保留前k项重构,可用较少参数近似原m×n矩阵。累计奇异值平方占比衡量Frobenius能量的保留程度,例如90%是可调的经验阈值。截去小分量可能降噪,也可能丢失低幅度的重要信号;应结合重构误差和下游任务评价,不把能量占比等同业务信息占比。
保留top-k奇异值降维保留进一步说明及原书证据。
线性变换由基的像决定:线性变换同时满足可加性与齐次性,因而向量的线性组合可先变换各基向量再按原系数组合。把变换后基向量的坐标按列排列,就得到表示该变换的矩阵。基是坐标表达的约定;同一变换换一组基会有不同矩阵,不能把坐标表示的变化误认为对象本身必然变化。
线性变换由基的像决定保留进一步说明及原书证据。
5.2 SVD聚类建模Python实战
商品销量按完整周聚合成矩阵,SVD后用奇异值能量选表示维数,再计算样本与右奇异方向的相关系数作为聚类输入。代码的特征数计数和簇数曲线命名有边界,不能机械照搬。
SVD降维加K均值聚类:直接对高维原始时间序列(如51周的商品销量)做聚类容易被噪声和维度灾难干扰。常见做法是先用SVD把数据压缩到k个主方向,再计算每个样本和每个主方向的相关系数,把这组相关系数当作新的低维特征交给K均值聚类,最后还原到原始时间轴上观察每一类的平均曲线。这套”先分解降维、再对分解出的系数聚类”的组合,是矩阵分解类方法做行为规律挖掘的典型套路。
SVD降维加K均值聚类保留进一步说明及原书证据。
分解维数与簇数分开选:SVD的截断维数决定保留多少潜在方向,K均值的簇数决定把样本划为多少组,它们是两个不同超参数。可先按奇异值能量选择表示,再按聚类指标和业务稳定性选择分组。书中称“轮廓系数”的代码实际绘制平均最近中心距离,属于失真/肘部式观察;它不是同时比较簇内、簇间距离的轮廓分数。
分解维数与簇数分开选保留进一步说明及原书证据。
矩阵分析工具各司其职:NumPy负责数组和线性代数计算,Pandas负责带索引的数据整理与聚合,Matplotlib负责图形表达。在矩阵分解案例中,先按商品与周构成表,再把数值矩阵交给分解和聚类,最后把结果接回原ID绘图。数值数组通常不携带业务索引,工具之间转换时须显式保留对应关系。
矩阵分析工具各司其职保留进一步说明及原书证据。
给聚类结果贴回商品ID,按类别排序热图并比较各组周均曲线,让降维空间的划分回到原始时间轴解释。
5.3 对无序稀疏数据的规律分析
NMF以非负加权组合表达局部成分,允许增加稀疏约束;通过重构损失优化W/H并用非负乘法保持约束。案例把周购买量作TF-IDF后分解,数据零值与缺失的含义仍须区分。
NMF非负带来可解释性:NMF要求分解出的基矩阵和系数矩阵都非负,这让原矩阵的每一列只能表示成基向量的”相加”组合,天然对应”局部构成整体”的直觉——比如一张人脸可以被分解为眼睛、鼻子、嘴巴等非负局部特征的加权和。这跟PCA允许正负抵消、得到的是完整”特征脸”正交基完全不同,NMF因此更适合本身就非负、且局部特征有明确物理意义的数据,比如图像像素、词频、购买次数。
NMF非负带来可解释性保留进一步说明及原书证据。
NMF的稀疏性优势:NMF非负带来可解释性的加性组合可能形成局部、较稀疏的表达,但非负约束不保证解一定稀疏。若任务需要稀疏性,可额外对基矩阵或系数矩阵施加约束。稀疏能减少冗余并突出局部特征,但评分矩阵里的“未评分”未必是真实零,不能把缺失直接当低评分参与拟合。
NMF的稀疏性优势保留进一步说明及原书证据。
非负更新保持分解约束:NMF寻找非负W、H,使WH近似非负数据V。乘法更新把每个元素乘以非负的修正比,在非负初始化下保留非负约束;这不同于不加限制的加减式梯度更新。目标是在给定损失下迭代改善重构,并不保证找到唯一或全局最优表示;还应处理零值、数值稳定性和停止准则。
非负更新保持分解约束保留进一步说明及原书证据。
W表示每个用户的成分权重、H表示各成分的时间模式;argmax把混合权重另行压成单类别,再回到原始数据画类内平均行为。
非负表示不等于硬聚类:若输入按“用户×周”排列,NMF可得W为“用户×成分”、H为“成分×周”,每个用户是一组非负成分的加权组合。用W每行最大权重的索引给用户贴单一类别,是额外的硬分组规则,会丢失混合行为。分解成分数与可信类别数也未必相同,不能仅凭训练重构误差最小就选出最佳业务分类。
非负表示不等于硬聚类保留进一步说明及原书证据。
5.4 本章小结
小结回扣矩阵分解的低维表示与规律挖掘用途,仍需保留维数、损失和输入语义的选择责任。
第6章 对观测到的事件进行因果推断
第6章从已发生、已观测的数据估计事件或策略影响;主题在于如何获得没有策略时的比较基线。
6.1 使用全量评估分析已发生的事件
全量策略缺少同时未受干预的用户,自身前后变化还包含其他变量;分享与跨日传导例子说明业务约束和干扰会限制随机化方式。
全量评估的核心困境:策略全量上线后缺少同时未受处理的自然对照,直接比较前后指标会混入季节、用户组成等变化。潜在结果框架与AB实验的必要性指出应比较同一对象有无策略的结果,而后者不可同时观察。回归、DID或时间序列可构造条件基线,但不能仅凭事后拟合就补回随机实验的所有保障;是否能实验也取决于干扰与业务约束。
全量评估的核心困境保留进一步说明及原书证据。
6.2 全量评估的主要方法
先用相关与回归区分关系的刻画,明确条件均值、误差假设与OLS,再将拟合度和F/t检验分开。多元回归要考虑参数数目、共线性和标准误,原文平方和标注按对象澄清。
多元回归中调整R方的必要性:同一训练样本、含截距的嵌套OLS模型中,增加自变量不会增大最小残差平方和,所以普通R²不会降低,但未必严格提高。调整R²用样本量和参数数目惩罚复杂度,新增变量的解释收益不足时会降低。它有助于比较拟合与复杂度,仍不是因果识别或泛化能力的保证,独立测试中的R²甚至可以为负。
多元回归中调整R方的必要性保留进一步说明及原书证据。
DID的平行趋势假设:双重差分法(DID)通过对比实验组和对照组”策略干预前后”的变化量之差来剥离出策略效果,它成立的关键前提不是两组水平完全一样,而是”平行趋势假设”:在没有策略干预的情况下,两组指标随时间的变化趋势必须恒定平行,允许存在固定差距,但差距不能随时间自己变化。一旦这个假设不成立,DID算出来的”差分的差分”就会把本来存在的趋势差异误算成策略效果。
DID的平行趋势假设保留进一步说明及原书证据。
回归解释条件均值:线性回归用截距和斜率描述给定x时y的条件均值,多元回归的某个系数表示其他变量固定时,该变量变化一单位对应的均值差。相关分析只概括共同变化方向和强度,回归进一步明确被解释对象及条件。只有设计与误差条件支持时,系数才可解释为因果效应;数值可计算不等于假设已成立。
回归解释条件均值保留进一步说明及原书证据。
拟合平方和先核对定义:带截距的训练集OLS中,总变差可分为“拟合值与均值的差平方和”及“观测值与拟合值的差平方和”。R²=1-残差平方和/总平方和。不同教材的SSR、SSE缩写可能互换,应看公式所指对象;原书此处的名称、部分图式前后颠倒,不照缩写死记。拟合比例高也不意味着没有混杂或预测外推可靠。
拟合平方和先核对定义保留进一步说明及原书证据。
整体与单系数检验不同:回归整体F检验考察一组斜率是否全为0;某个系数的t检验则考察在其他变量存在时,该系数是否为0。一元含截距模型中这两个问题等价,多元模型中整体显著不保证每个系数显著。检验结论还依赖误差与标准误的设定,p值不是系数大小,也不是策略有效的业务价值。
整体与单系数检验不同保留进一步说明及原书证据。
多重共线性影响估计稳定与检验;DID用变化量差构造比较,合成控制从供体学习非负权重,CausalImpact再把趋势、季节与控制序列放进状态空间。
合成控制法构造反事实:当找不到一个天然满足DID的平行趋势假设的对照组时,合成控制法不再寻找单一对照组,而是从多个候选对照组里学习一组非负、和为1的权重,把它们加权组合成一个虚拟的”合成对照组”,让它在策略干预前的关键指标上尽量逼近实验组。这把”找一个像的对照组”这个主观选择问题,转化成了一个数据驱动的优化问题,减少了人为挑选对照组带来的偏差。
合成控制法构造反事实保留进一步说明及原书证据。
状态空间分离观测与状态:状态空间模型用一条方程将可见序列与隐藏状态连接,另一条方程描述隐藏状态怎样随时间演化。局部水平、趋势和季节性可各占状态,协变量关系可设为静态或动态。这样能生成反事实预测的分布,但复杂度与先验也会影响结果;不受处理的控制序列和稳定关系仍是因果解释前提。
状态空间分离观测与状态保留进一步说明及原书证据。
flowchart LR
A[前一时刻状态] -->|演化与扰动| B[当前隐藏状态]
B -->|观测方程| C[当前观测序列]
D[协变量与季节设定] --> B
静态与动态协变量系数应按实际关系选择,贝叶斯估计生成反事实分布和逐期差距;非实验结论仍依赖未受处理的控制序列及关系稳定性。
CausalImpact反事实:CausalImpact用贝叶斯结构时间序列拟合处理前的关系,预测处理期“没有干预会怎样”的分布,再将实际值与预测逐点或累计比较。有效解释依赖控制序列未受干预、处理前关系能延续到处理后等条件。它可以表达趋势、季节性与不确定性,但不自动解决混杂;DID的平行趋势假设也不限于只能分析两个时间点。
CausalImpact反事实保留进一步说明及原书证据。
原书依据 · 8 处
- 第6章 对观测到的事件进行因果推断 6.2 全量评估的主要方法 · 查看原书依据
- 第6章 对观测到的事件进行因果推断 6.2 全量评估的主要方法 · 查看原书依据
- 第6章 对观测到的事件进行因果推断 6.2 全量评估的主要方法 · 查看原书依据
- 第6章 对观测到的事件进行因果推断 6.2 全量评估的主要方法 · 查看原书依据
- 第6章 对观测到的事件进行因果推断 6.2 全量评估的主要方法 · 查看原书依据
- 第6章 对观测到的事件进行因果推断 6.2 全量评估的主要方法 · 查看原书依据
- 第6章 对观测到的事件进行因果推断 6.2 全量评估的主要方法 · 查看原书依据
- 第6章 对观测到的事件进行因果推断 6.2 全量评估的主要方法 · 查看原书依据
6.3 全量评估方法的应用
物流订单案例人为给后30天加处理标记及50单位扰动,用回归分离协变量差异与已设定提升;模型检查和系数解读是示范,不代表真实部署证明。
巴斯克案例分别演示单对照DID和Synth合成对照,权重和供体选择有不同假设;安慰剂对比支持异常差距判断。随后空气数据也人工添加变化来示范反事实。
安慰剂检查合成差距:合成控制先在处理前拟合受处理对象,再比较处理后的真实与合成轨迹。为判断差距是否异常,可依次把未处理对象假装成处理对象,重复拟合并比较差距;前期拟合很差的对象要按预定规则处理。异常程度是支持证据,不是仅凭一条差距线就证明因果;候选对照是否受外溢仍需检查。
安慰剂检查合成差距保留进一步说明及原书证据。
空气观测透视成序列,区分目标与控制序列,定义前后期;自建bsts可选择状态和协变量,示例把后期响应设缺失以避免拟合处理结果。变量数和先验是模型配置,不能机械理解为恰好选中固定数目的变量。
可加入不受处理的本地协变量,按原始、逐期与累计面板解释反事实差距及区间。处理前拟合好只支持适用性,不能证明处理期关系必然稳定;自定义透视函数是数据准备。
原书依据 · 1 处
6.4 本章小结
小结把回归、DID、合成控制与时序反事实联系为构造条件比较基线的方法;统计建模不能无条件达到随机实验同等识别强度。
第二部分 实验设计和分析技术
第二部分导语用互联网实验示例说明在线策略也可以预先设计比较,从事后解释转向受控验证;不把具名实验的存在视为伦理正当性证据。
第7章 如何比较两个策略的效果
第7章把新旧策略比较定位为设计、分组、监控和评估的联合工作,而不只是算出一个差异。
7.1 正确推断因果关系
以相关谬误引出潜在结果:同一对象同一条件下只能观察一种处理结果,历史前后并非完美对照,随机分组使平均结果在期望上可比。
相关性不等于因果性:两个变量存在统计相关,只能说明它们的走势有关联,不代表其中一个导致了另一个——经典例子是美国各城市收入与计算机博士数量高度相关(相关系数达0.9978),但两者更可能是被经济增长等第三方因素同时驱动,而非互为因果。相关性可以在探索阶段提供研究方向的线索,但要证明真正的因果关系,还是需要靠受控实验或严谨的因果推断方法,不能直接把相关系数当因果证据用。
相关性不等于因果性保留进一步说明及原书证据。
潜在结果框架与AB实验的必要性:因果效应的严格定义要靠”潜在结果”:同一个个体如果接受了干预会怎样、如果没有接受又会怎样,二者之差才是真实的因果效应。但现实中一个个体只会经历其中一种情况,另一种结果永远无法被观测到,这是因果推断的根本难题。A/B实验用随机分组巧妙绕开了它:把总体随机拆成两组后,两组的平均表现可以互为对方的”潜在结果”,对照组的均值就近似地充当了实验组”如果没有接受干预”的反事实。
潜在结果框架与AB实验的必要性保留进一步说明及原书证据。
7.2 运用A/B实验进行策略比较
A/B实验在预设目标和同一时间窗比较策略,随机分配帮助分离方案与其他因素;有限样本仍有不平衡,不把事先设计等同贝叶斯先验,也不自动揭示机制。
A/B实验的三大特性:A/B实验应在开始前明确假设与判断规则,让不同方案在同一时间窗运行,并按预定机制随机分流。并行减少共同时间变化的干扰,随机化使组间在期望上可比,而不保证每次有限样本的所有特征完全一致。还需检查分流、缺失、干扰与指标定义;这些条件共同支持因果比较,不能只凭“同时在线”就干净归因。
A/B实验的三大特性保留进一步说明及原书证据。
7.3 A/B实验应用步骤
先写实验要素、核心指标和假设,再由目标效应、方差、α与功效估样本及周期,A/A和过程监控检查实现,不能见显著就停。样本单位、相对百分比和百分点需明确。
A/B实验的假设检验与证伪逻辑:A/B实验的核心是一次假设检验:原假设是实验组和对照组没有差异,备择假设是有差异。它遵循的是证伪法而非满意法——先假定”没有区别”成立,再靠数据积累证据去推翻它,而不是先挑一个看起来可信的结论再去找支持证据。这跟陪审团”疑罪从无、用证据定罪”的逻辑一致,能避免过早锁定某个结论而对反面证据视而不见。
A/B实验的假设检验与证伪逻辑保留进一步说明及原书证据。
最小预期提升的业务门槛:实验前应说明多大的效果值得业务行动,并据此选择希望有能力检出的效应规模。MDE通常指在给定样本量、显著性和功效下可检测的最小效应;它可参考业务门槛设定,但两者概念不同。最终决策还要看效果估计、区间、成本与风险,不能只因点估计越过门槛或p值显著就直接上线。
最小预期提升的业务门槛保留进一步说明及原书证据。
A/B实验样本量的四要素:A/B实验所需的最小样本量由四个量共同决定:预期最小提升Δ(最小预期提升的业务门槛,越小则越难被检测出来,需要的样本越多)、样本方差(比率类指标里等于p×(1-p))、第一类错误概率α(误判有差异的容忍度,常取0.05)、第二类错误概率β(漏判真实差异的容忍度,常取0.1或0.2)。样本量与Δ的平方成反比,想检测的效果越细微,需要的样本量会急剧膨胀。
A/B实验样本量的四要素保留进一步说明及原书证据。
A/A实验校准分组本身的噪声:A/A实验让各组接受同一策略,用于检查分流、指标计算和统计流程的校准。一次显著结果可能是预设α下的偶然假阳性,也可能提示系统问题,应结合分流比例、协变量和重复实验诊断;不能机械地从A/B结果减掉某次A/A差异。不显著同样不证明分组无偏或后续实验一定可靠。
A/A实验校准分组本身的噪声保留进一步说明及原书证据。
实验不能看到显著就立即喊停:实验早期显著性可能随样本积累反复变化,UI变化还可能有短期新鲜感。如果反复查看普通固定样本检验并一显著就停,会改变假阳性控制。应按预定样本量、周期与分析方案结束;需要连续决策时采用匹配的序贯方法。异常事件的排除或延长也需规则和记录,不能为了获得显著而临时拉长。
实验不能看到显著就立即喊停保留进一步说明及原书证据。
指标与随机化单位要对齐:设计实验时先写清目标、处理、实验单元和指标的分子分母。用户级随机化下,同一用户的多次打开或点击通常相关,不能把每次行为都当独立样本来放大样本量。点击率、下单率及PV/UV口径也不能混用。评估周期既要满足有效样本需求,也应覆盖业务周期,预先固定核心指标及判断规则。
指标与随机化单位要对齐保留进一步说明及原书证据。
7.4 A/B实验案例
电商页面案例把用户随机化、PV/UV指标、A/A与两样本比较放在同一流程。两侧检验应看|z|,文中β=0.9实际指功效;点击改善不能替代购买或长期价值判断。
7.5 本章小结
小结以随机分组来近似不可同时观测的反事实,回到策略效果比较这一目标。
第8章 提高实验效能
异质用户的背景波动会使微小处理效应难以识别;分组前借历史特征划区组,评估时解释这部分方差可降低噪声。
样本方差如何淹没真实效果:A/B实验样本量的四要素的公式里,样本方差越大,检测同样大小效果所需的样本量就越大;如果实际样本量不够,真实存在的策略效果就会被组内本身的差异(比如高频用户和低频用户购买频次天差地别)淹没,导致p值不显著,误以为策略没用。想让实验更”灵敏”,关键不总是加大流量,也可以想办法降低实验对象本身的背景噪音,也就是压缩组内方差。
样本方差如何淹没真实效果保留进一步说明及原书证据。
随机区组实验:先分层再分组:先按处理前、与结果相关的特征划分同质区组,再在各区组内按预定比例随机分配处理和对照,可减少样本构成偶然失衡。分析时也应按区组调整或分层加权,使估计与设计一致。它回应样本方差如何淹没真实效果,但不保证每次实验都显著,收益取决于区组预测力、样本量和分析方案。
随机区组实验:先分层再分组保留进一步说明及原书证据。
8.2 用随机区组设计控制实验指标方差
区组设计在每层同比分流,分析把处理、区组和剩余差异分开;区组特征应在处理前确定、与结果有关且不受策略影响。
随机区组实验拆解出的三部分方差:简单A/B实验里实验单元的差异只能拆成两块:组间差异(策略本身造成的)和组内差异(个体随机性)。随机区组实验:先分层再分组多了一步分层分流,把差异拆成三块:组间差异(不变)、区组之间的差异(被分层抽样单独剥离出来)、剩余组内差异。因为总差异是固定的,被剥离出一块区组差异后,剩下的组内背景噪音自然变小,同样的策略效果就更容易在假设检验里显著。
随机区组实验拆解出的三部分方差保留进一步说明及原书证据。
区组特征的选择标准:能作为随机区组分层依据的特征,需要满足两个条件:一是对观测指标本身有显著影响(可用历史数据做方差分析验证),二是不会被本次策略影响(否则区组本身就会成为实验干扰因素)。如果两个候选区组特征彼此高度相关(共线性强,比如用户活跃度和生命周期),也不该同时拿来做区组,否则会引入多重共线性、让后续效果评估变得复杂而没有额外收益。
区组特征的选择标准保留进一步说明及原书证据。
8.3 随机区组实验应用步骤
实验评估可用处理哑变量回归表达均值差,方差分析再把处理解释与残差比较;区组回归加入类别项,降低MSE的收益应抵过自由度损失。
区组数量不是越多越好:随机区组实验:先分层再分组增加解释项可降低残差平方和,但也消耗残差自由度。只有前者收益足以抵过后者损失,残差均方MSE才降低,检验才可能更有力。类别过碎、小样本或低预测力的区组未必划算。这里应区分区组平方和、处理组平方和和残差平方和,不能只按SSE缩写判断;特征重叠另见区组特征的选择标准。
区组数量不是越多越好保留进一步说明及原书证据。
区组回归调整背景差异:以实验单元指标Y为因变量,处理标识exp与区组标签Block共同进入回归,可估计调整区组差异后的处理系数。多类别区组应作为类别编码并设参考项,而不是默认编号之间有线性距离。分析须与分层随机化及权重设计匹配;仅把各层合并做未调整的检验,不自动获得声称的全部降方差收益。
区组回归调整背景差异保留进一步说明及原书证据。
8.4 随机区组实验案例介绍
优惠券例展示用历史GMV验证标签,再拟合处理+区组模型并解释业务收益。原文数据重复5次不能视为新增独立证据,1.42、区间[0.47,0.79]与p=0.058不一致,不据此宣称5%水平显著。
8.5 随机区组实验的常见问题
常见问题回到误差条件、区组数与自由度,以及整体拟合度不等于处理有效。标签冗余主要影响参数可识别与标准误,不能把相关一概说成违反所有回归前提。
R方升高不等于策略有效果:区组解释背景差异后,R²可能提高,但它衡量总体拟合,不单独说明处理效应。处理系数、标准误和区间回答效果大小及不确定性,还应结合设计假设、业务门槛和成本判断。低R²也可能估计出有用的处理效应,高R²也可能对应处理无效;不能用拟合度替代实验结论,与多元回归中调整R方的必要性相关。
R方升高不等于策略有效果保留进一步说明及原书证据。
8.6 本章小结
小结将方差分析作为理解差异来源的工具,并为干扰与特殊实验设计做铺垫。
第9章 特殊场景下的实验设计和分析方法
第9章把普通分流前提显式化:组间存在干扰、无法分流或处理不可逆时,需要改变随机化与时间安排。
9.1 解决分流实验对象之间的干扰
随机饱和度用簇层与个体层两次随机化,允许估计处理及簇内溢出;全量外推要有极端簇或模型假设。地理和时间划分均需权衡簇间干扰、均衡和独立簇数。
网络效应破坏独立性假设:A/B实验默认”个体处理稳定性假设”——一个用户的实验结果只取决于自己被分到哪一组,不受其他用户影响。但社交网络、外卖抢单这类场景里,实验组用户的行为会溢出影响对照组用户(比如广告点击相互干扰、骑手跨簇接单),这种网络效应一旦存在,简单随机分流得到的组间差异就会被污染,不再是干净的策略效应。应对网络效应必须在实验设计阶段就考虑进去,事后从被污染的数据里补救往往很难。
网络效应破坏独立性假设保留进一步说明及原书证据。
随机饱和度实验的两层随机化:随机饱和度设计先把对象组织为簇,随机给簇分配处理比例,再在簇内按该比例随机分配个体。它允许建模簇内网络效应破坏独立性假设中的干扰,但依赖簇间干扰可忽略等假设;不是划簇后就自动无污染。分析须尊重两层随机化与簇内相关,有效信息也受独立簇数限制。
随机饱和度实验的两层随机化保留进一步说明及原书证据。
饱和度为0和1的簇提供无偏对照:如果随机饱和度实验的两层随机化的设计里刚好存在饱和度为0(完全不处理)和饱和度为1(完全处理)的簇,这两类簇本身就是未受污染的纯对照组和纯实验组,直接比较它们就能得到无偏的处理效应估计。但很多业务场景不允许出现这两种极端饱和度(比如有益产品想尽快覆盖所有人、有风险产品只能小流量测试),这时就需要借助处理饱和度和结果之间的线性关系假设,用回归模型间接估计出全量处理效应。
饱和度为0和1的簇提供无偏对照保留进一步说明及原书证据。
分簇兼顾独立与均匀:随机饱和度实验的两层随机化中的簇既要相互独立(比如骑手不能跨簇接单),又要内部样本分布均匀,这两个目标常常互相冲突:分簇分得越细,簇内部越均匀,但越容易发生跨簇干扰,破坏独立性假设;分簇分得越粗,独立性更容易保证,但簇之间又变得不均衡。实验设计者需要根据具体业务场景(如骑手实际跨区接单的比例)在这两者之间找到一个可接受的折衷点。
分簇兼顾独立与均匀保留进一步说明及原书证据。
饱和度区分直接与溢出:在处理簇内,个体未受处理也可能因别人受处理而改变结果,这就是溢出效应。用不同饱和度和簇内处理状态,可比较直接处理、环境饱和度及交互。若没有0或1饱和度,把中间比例外推到全量效果需要额外函数形式假设;一个截距不显著不足以证明线性或无偏。
饱和度区分直接与溢出保留进一步说明及原书证据。
小结再次强调独立且均衡簇是难点,并列出饱和度实验的文献来源。
9.2 Switchback实验和评估方法
Switchback按时空片安排策略,利用跨片率衡量隔离;图上的谱聚类帮助减少跨区匹配。评估加入时空协变量,模拟可检出能力须按真正检验规则计算,不能仅统计正系数。
双边市场不能按用户分流:外卖、网约车这类撮合供需双方的平台,产品策略同时影响乘客/食客和司机/骑手两端,而且一次匹配结果会波及同一时刻及后续一段时间内的其他匹配(网络效应破坏独立性假设)。这类平台不能像普通App功能那样按用户ID简单随机分流——被分到实验组的一方,行为仍然会通过撮合关系影响到对照组的另一方。这类”多边网络效应”场景需要在匹配关系之外找一个不受策略干扰的维度来切分实验组和对照组。
双边市场不能按用户分流保留进一步说明及原书证据。
Switchback时空切片:双边市场不能按用户分流时,可用区域×时间段作为策略分配与评价单元,在这些切片间随机安排策略切换。同一片内供需双方用同一策略,减少按个人分流的直接交叉污染;但跨区域流动和上一时段的残留仍可能干扰。切片需在隔离效果、可用单元数、时间趋势和历史结构稳定性之间取舍。
Switchback时空切片保留进一步说明及原书证据。
跨片率衡量时空切片划分的好坏:Switchback时空切片划分得好不好,可用”跨片率”衡量——参与方跨越切片边界完成匹配的比例。跨片率越低,说明每次匹配基本发生在同一切片内、被同一套策略完整覆盖,网络效应干扰越小。但跨片率不是越低越好:把整个城市划成一片时跨片率为0,可用样本量却退化成1,无法做实验,需要在干扰和样本量间找平衡(谱聚类可自动找到内部稠密、外部稀疏的切分)。
跨片率衡量时空切片划分的好坏保留进一步说明及原书证据。
图切分减少跨区关联:把地理网格视为顶点,把骑手、商家、用户之间的匹配计作加权边,可将实验区域划分变为图切分问题。谱聚类寻找内部连接密、外部连接稀的子图,对应减少跨区域匹配。它帮助组织相对隔离的区域,却不保证干扰完全消失;历史匹配结构若在实验期剧变,原切分也须重估。
图切分减少跨区关联保留进一步说明及原书证据。
模拟功效须按拒绝规则算:评估实验设计的功效,可在设定真实效应及噪声机制下重复生成数据,每次完整执行预定检验,统计拒绝零假设的比例。仅统计估计系数为正的比例,衡量的是方向而不是给定α下的统计功效。模拟结果还受独立单元数、时间相关和干扰设定限制,不能把样例可检出的MDE直接移到新平台。
模拟功效须按拒绝规则算保留进一步说明及原书证据。
原书依据 · 6 处
9.3 交叉实验
交叉实验让同一单元接受多个策略,区分序列、周期、残留与消除期。设计矩阵的均匀与前后配对平衡是不同性质,拉丁方不自动满足所有残留平衡;评估也要处理重复测量。
交叉实验自身作对照:交叉实验不是把用户切成两拨互不相干的组,而是让同一批实验单元先后依次经历不同策略,本质上让每个单元自己就是自己的对照组。这样做省去了因个体差异造成的组间背景噪音,理论上需要的样本量比传统A/B实验更少,还能在同一段时间窗口内评估多个策略、节省实验时间。但它只适用于策略效果可逆、实验单元状态能保持相对稳定的场景,不适合会产生不可逆改变的策略。
交叉实验自身作对照保留进一步说明及原书证据。
交叉实验的延滞效应与消除期:交叉实验自身作对照的设计里,同一实验单元先后经历不同策略,上一个策略的影响可能残留到下一个策略生效期,这种残留叫延滞效应。常见的应对方式是在两个策略切换之间插入一段”消除期”(空白期),等上一策略的影响消退后再开始下一策略的观测,避免把残留效应错算进下一个策略的效果里。
交叉实验的延滞效应与消除期保留进一步说明及原书证据。
交叉设计矩阵的平衡性:交叉设计的均匀性使策略在各周期、序列出现次数均衡;平衡性进一步考虑某策略之前或之后出现其他策略的次数,以减少顺序与残留混淆。普通拉丁方只保证行列均匀,不自动满足所有前后配对平衡。设计能在相应加性、残留模型下平衡影响,不能替代交叉实验的延滞效应与消除期所需的充分消除期。
交叉设计矩阵的平衡性保留进一步说明及原书证据。
9.4 强约束条件下的实验方法
不能持续分流又不能撤回处理时,可把少量对象的处理起点随机错开,重复测量构造多基线。效能受对象数、重复次数和时间池影响,随机化检验须保留设计约束。
不能分流也不能轮转的场景:有些商业/社会场景(比如验证某种教学方法对学生成绩的影响)既不能像A/B实验那样把对象随机分成两组区别对待(涉及公平/道德/法律考量),也不能像交叉实验自身作对照那样来回轮转策略(处理效果会在时间上残留、污染后续时段)。这种”既不能分流又不能轮转”的强约束条件,需要一种完全不同的实验设计思路来获得因果证据。
不能分流也不能轮转的场景保留进一步说明及原书证据。
多基线实验的前后对比:针对不能分流也不能轮转的场景,多基线实验让每个实验对象在实验前期都处于”控制期”,之后在各自随机选定、彼此错开的时间点切换进入”处理期”并从此保持接受处理,全程重复测量同一个观测指标。这样一来,每个对象既是控制组又是实验组,只是在时间轴上把两个角色错开,既不需要把对象分流成两组区别对待,也不需要来回轮转策略(只翻转一次),天然适配强约束场景。
多基线实验的前后对比保留进一步说明及原书证据。
打乱切换时间的随机检验:多基线实验的前后对比可用随机化检验:先计算真实切换安排下的加权前后差,再在原设计允许的时间池和约束内重新随机安排切换,形成零假设比较分布。真实统计量越处于预设方向的极端尾部,证据越强。尾部比例才是p值;书中部分代码返回“真实值高于多少比例”的分位,不应同方向直接当小p值。
打乱切换时间的随机检验保留进一步说明及原书证据。
真实切换效果与合法重随机安排比较,回归调整可先移除协变量解释的变差;分位方向和尾部概率应一致,不以事后挑变量追求显著。
协变量剥离方差提灵敏度:在打乱切换时间的随机检验前,用处理不影响的协变量解释部分指标变动,再分析剩余残差,有机会提高功效。协变量与调整规则应预先确定,随机化检验也须与原分配和调整流程相容;不能在结果不显著后不断挑变量直到显著。它减少的是可解释背景变差,不自动纠正混杂或改变处理效应的定义。
协变量剥离方差提灵敏度保留进一步说明及原书证据。
9.5 本章小结
小结强调设计服务约束与目标,四种方式各有前提,不因都出现在本章就认为各自能解决所有干扰。
第三部分 自助式数据科学平台SQLFlow
第三部分导语把SQLFlow定位为连接数据与模型的桥梁,后两章分别补解释与无监督模式识别,降低接口负担不等于取消建模假设。
第10章 SQLFlow
SQLFlow把查询交给数据引擎,把训练说明转成模型程序;Iris例子明确特征、标签与存储。不同引擎/框架的开放连接是工具定位,而非普遍免编程承诺。
SQLFlow封装机器学习流程:SQLFlow把机器学习训练/预测流程用SQL语法扩展描述:SELECT指定数据来源,TRAIN/PREDICT声明训练还是预测,WITH携带超参数,COLUMN/LABEL指定特征列和标签列,INTO指定结果存哪张表。SELECT部分照常透传给数据引擎执行,TRAIN/WITH部分被解析生成对应Python训练代码,让懂SQL的人不写代码也能跑通端到端机器学习任务。
SQLFlow封装机器学习流程保留进一步说明及原书证据。
原书依据 · 1 处
10.2 设置SQLFlow运行环境
从Docker镜像试用到表结构探查、训练和预测,操作流程能提前发现字段错误;自建环境则逐项准备通信工具、语言和依赖管理,具体旧版本不冒作当前保证。
先探查数据再训练预测:SQLFlow操作先检查表结构与少量样本,核对字段类型、标签及特征含义,再用TO TRAIN声明模型和超参数,COLUMN/LABEL限定输入目标,INTO保存模型。预测时用TO PREDICT指定结果表列、USING指定模型,最后查询结果核验。语法降低了调用门槛,仍须防止目标泄漏并独立评价,不能以命令成功代替模型有效。
先探查数据再训练预测保留进一步说明及原书证据。
镜像打包分析依赖:容器镜像把应用与依赖打包,降低跨机器复现环境的成本;SQLFlow案例镜像将数据库、Notebook与模型入口组合,便于试用。镜像标签latest不是固定版本,主机平台、端口、数据持久化和权限仍需配置。复现时应固定可追溯镜像或提交,不能仅复制书中旧命令就宣称环境一致。
镜像打包分析依赖保留进一步说明及原书证据。
Conda隔离分析环境:Conda把一组语言运行时和包依赖组织为环境,可安装、更新并切换,减少不同项目依赖冲突。Miniconda提供较小起点,按任务添加所需包。隔离不等于永久兼容:本书Python3.6及固定旧包是历史组合,复现实验须记录实际环境清单及平台,不在日常全局环境直接套用。
Conda隔离分析环境保留进一步说明及原书证据。
结构化通信需共同协议:Protocol Buffers用结构化消息定义和序列化连接不同语言实现,SQLFlow的多语言组件需要匹配的协议与生成工具。编译器、生成代码和运行库版本都应纳入环境记录;“序列化更小更快”取决于数据与比较条件,书中protobuf3.7.1是当时依赖,不是所有现行组件的通用要求。
结构化通信需共同协议保留进一步说明及原书证据。
自建环境还需Go代码生成、Java解析器、Python提交器、预制模型和数据引擎,客户端指定服务端地址。Notebook适于研究,REPL适于简洁调用和调试。
交互研究与批处理分工:Notebook把代码、说明和可视化放在同一文档,适合探索和交流;命令行REPL提供较简洁的调用入口,适合调试或接入调度。二者应明确所用数据源、模型及服务地址,避免交互会话中隐藏状态影响复现。书中允许无令牌访问的启动方式仅是示例,实际环境应按访问范围配置认证。
交互研究与批处理分工保留进一步说明及原书证据。
REPL样例返回Iris一条记录,演示客户端确实经SQL访问数据表。
10.3 向SQLFlow提交分析模型
自定义模型按特征列及超参数契约接入,导出入口后分别做单元与端到端验证,再贡献审查。特征列封装输入转换,但缺失参数仍会终止训练。
特征列封装特征工程:特征列(feature column)是TensorFlow对”原始数据→模型可用输入”这一特征工程步骤的统一封装:数值列直传连续值,分类词汇列把类别转成one-hot/embedding,分桶列按边界把连续值离散分箱。声明用哪种特征列包装字段,框架就自动完成编码转换,这也是SQLFlow封装机器学习流程能让TRAIN语句直接对接原始表字段的底层支撑。
特征列封装特征工程保留进一步说明及原书证据。
自定义模型先接契约再验证:把自定义模型接入SQLFlow时,先按框架约定接收feature_columns及超参数,设默认值并导出模型名称,再用单元测试检查构造与前向行为。随后用真实SQL入口测试训练、效果及结果写读,确认模型包装与端到端契约均成立后才提交社区审查。仅定义一个类或提交PR不代表已可用或已合并。
自定义模型先接契约再验证保留进一步说明及原书证据。
flowchart TD
A[实现模型与参数契约] --> B[导出模型入口]
B --> C[单元测试]
C --> D[SQL端到端验证]
D --> E[检查效果和结果写读]
E --> F[提交审查]
10.4 本章小结
小结提供部署和设计文档的延伸入口,未实质展开集群部署流程。
第11章 机器学习模型可解释性
第11章把模型输出翻译为可交流业务信息,但这种解释仍需与真实因果区分。
11.1 模型的可解释性
可解释性帮助沟通与纠正人和模型的错误,公平、可靠、透明是待检查的目标,而非解释性自然保证的属性。
两类从业者对模型的期待:模型使用者可能分别侧重预测质量与业务可理解性:前者关注独立评价指标,后者还需要把预测转成可交流、可质疑的结论。这是任务侧重的区别,不是两类职业的固定边界,也不说明传统模型永远更可解释或网络永远更准确。黑盒模型与白盒模型的取舍应服务具体用途;可解释模型本身也不自动揭示因果。
两类从业者对模型的期待保留进一步说明及原书证据。
可解释模型的纠错双重作用:模型可解释性的价值之一是纠错,而且能纠两种错:一是纠正人的错——可解释性给了数据工作者挑战自己惯性直觉的证据;二是纠正模型本身的错——通过解释一次错误预测背后的原因,可以定位模型学到的偏差在哪里,进而针对性地修正训练方式,而不是盲目调参。
可解释模型的纠错双重作用保留进一步说明及原书证据。
可解释模型的三个特征:模型解释可以支持检查公平性、可靠性和透明性:说明哪些因素推动预测,帮助发现偏差,并让使用者检验结果。但“可解释”不等于已经公平、可靠或正确。一个透明模型同样可能使用有偏标签或不适用的数据;每项要求都需要独立证据和业务标准,解释只提供可检查的入口。
可解释模型的三个特征保留进一步说明及原书证据。
11.2 常见的可解释模型
线性组合可直接解释系数,但假设是条件模型与误差的约束,不要求边际目标必正态;截距不是残差。逻辑回归经sigmoid给出概率,系数应解释为对数几率与几率比。
线性回归的五个假设条件:线性回归解释应检查函数形式、误差与自变量的关系、观测依赖、方差结构及共线性。经典小样本精确t/F推断通常还使用条件误差正态与同方差假设,但目标变量的边际分布不必正态。非完全共线影响稳定性,完全共线影响可识别性;重复测量可用相应相关结构模型。不能把取对数、删异常或增加样本量当通用修复。
线性回归的五个假设条件保留进一步说明及原书证据。
泰坦尼克预处理包含缺失填充、家庭及头衔特征、哑变量和缩放。示例混合训练测试拟合预处理且测试再fit,不能当独立泛化流程;应只用训练拟合、测试transform。
分类系数要说明标准差单位与参考类;树用条件链,KNN以邻域解释且受k与距离影响,朴素贝叶斯在给定类别条件下独立地组合特征证据。
决策树的解释形式是”与”条件链:决策树的可解释性来自它把预测过程拆成一串从根节点到叶节点的”如果……且……则……”式条件链,比如”称呼是mr 且 舱位等级是3等 且 家庭成员数大于1,则更可能未存活”。这种条件语句式的解释,比线性回归”多维超平面上的一个点”这种抽象几何描述更贴近人类直觉,也天然能捕捉特征之间的交互作用,而且不要求做特征量纲统一或分布假设。
决策树的解释形式是”与”条件链保留进一步说明及原书证据。
KNN是懒惰学习只能做局部解释:KNN不像线性回归、决策树那样先训练出一组参数再解释,而是”懒惰学习”——收到预测请求时才现场去训练集里找最近的k个邻居,本身没有可以拿来解释的全局参数。它的可解释性因此只能停留在”这个样本之所以被这样预测,是因为它的k个近邻长这样”这种局部层面,无法像其他模型那样从全局角度总结出一套通用规律。
KNN是懒惰学习只能做局部解释保留进一步说明及原书证据。
KNN的k值与拟合走向:KNN是懒惰学习只能做局部解释的效果高度依赖k的取值:k太小时模型只参考极少数近邻,训练误差小但容易被噪声带偏、鲁棒性差(过拟合);k太大时参考的近邻范围过宽、丢失局部细节,导致欠拟合。没有一个固定公式能算出最优k,通常做法是从较小的值出发,结合交叉验证按业务更看重的指标(精确率还是召回率)挑一个折衷值。
KNN的k值与拟合走向保留进一步说明及原书证据。
朴素贝叶斯是生成模型:决策树、逻辑回归、KNN等大多数分类模型都是判别模型,直接学习”给定特征X,输出Y是什么”的条件关系;朴素贝叶斯则是生成模型,先建模特征X和标签Y的联合分布,再用贝叶斯公式反推出条件概率P(Y|X)。它的”朴素”体现在假设各特征在给定类别下相互独立,这个简化假设虽然经常不完全成立,却让每个特征对分类结果的贡献能被单独、清晰地计算出来,换来了很强的可解释性。
朴素贝叶斯是生成模型保留进一步说明及原书证据。
比较权重要先看尺度:线性或逻辑模型的系数含义依赖特征单位及编码:原始年龄增加一岁与标准化年龄增加一个标准差,不能使用同一种业务话术。不同量纲的系数绝对值也不能直接排重要性。类别系数须说明参考类;存在相关变量、交互或正则化时,还要结合模型形式解释,不能仅凭柱状图断定现实影响最大因素。
比较权重要先看尺度保留进一步说明及原书证据。
距离度量决定近邻:KNN先按距离找到k个邻居,再做多数投票或数值平均。闵可夫斯基距离以p控制差异的聚合:p=1是曼哈顿距离,p=2是欧氏距离。特征量纲、无关维度和编码都会改变谁算“最近”;因此选k之外还须确定表示与度量,不能认为相同k在不同预处理下是同一模型。
距离度量决定近邻保留进一步说明及原书证据。
11.3 黑盒模型的解释性
全局代理近似模型总体行为,LIME用局部扰动和距离权重解释单次输出;Shapley平均边际贡献,SHAP将预测差分解为贡献相加。案例以SQLFlow训练XGBoost并解释,训练集验证不构成独立测试。
全局代理模型只能解释模型本身:全局代理模型的解释逻辑用黑盒模型在全部数据上的预测结果重新训练一个可解释模型(线性模型/决策树)来近似黑盒模型,优点是简单直观、不需要理解黑盒内部机制。但它有个根本局限:得到的永远是”关于模型的结论”而不是”关于数据的结论”——代理模型学到的是黑盒模型的行为模式,不代表数据本身真实的因果关系,这一点在用代理模型的解释做业务决策时容易被忽略。
全局代理模型只能解释模型本身保留进一步说明及原书证据。
LIME用局部采样解释单个预测:LIME不像全局代理模型只能解释模型本身那样用全部数据训练一个代理模型,而是针对要解释的某一个样本,在它附近做特征扰动采样、生成一批新样本,用黑盒模型给这些新样本打标签,再按新样本与原样本的相似度加权,训练一个局部的简单模型来解释这一次预测。代价是解释结果依赖采样过程,同一个样本多次解释可能得到不完全一致的结果,稳定性不如全局方法。
LIME用局部采样解释单个预测保留进一步说明及原书证据。
Shapley值的公平分配:Shapley值最早用于解决多人合作创造价值后如何公平分配收益的问题——每个人的分配额,是他在所有可能的合作顺序里带来的边际贡献的平均值。把这个思路搬到机器学习模型解释里,”玩家”就是特征,”合作产生的价值”就是模型预测值,每个特征的Shapley值衡量的是它在所有特征组合顺序下对预测结果的平均边际贡献,天然能同时捕捉单个特征的独立影响和特征之间的协同影响。
Shapley值的公平分配保留进一步说明及原书证据。
SHAP的线性可加分解:SHAP将所解释的模型输出表示为基线加各特征贡献之和:贡献正负表示相对基线推高或拉低输出。基线取决于背景分布、解释器及输出尺度,不能一概等于所有样本真实标签均值。树模型可用TreeExplainer等算法计算归因,但高效程度和精确性有条件;这是一种分配模型预测差异的方法,不自动成为因果分解。
SHAP的线性可加分解保留进一步说明及原书证据。
解释点图看贡献方向和取值分布,条形图汇总绝对贡献;预测则选择测试表和既有模型,将结果写表再查询。
SHAP分布与重要性分开读:SHAP摘要点图逐样本显示某特征把模型输出推高或拉低的幅度,并用颜色表示特征取值;它可以展示异质性和方向。平均绝对SHAP的条形图只汇总贡献幅度,丢失正负方向与样本差异。两者都依赖模型、背景与所解释输出尺度,排序高不等于改变该特征会有同样的因果效果。
SHAP分布与重要性分开读保留进一步说明及原书证据。
11.4 本章小结
第11章收束白盒及模型无关解释,选用方式须围绕任务和数据而非固定算法排名。
第12章 基于LSTM-Autoencoder的无监督聚类模型
第12章以无标签模式识别为问题,从常规聚类到深度嵌入及SQL调用。标题虽有LSTM,所给核心代码是Dense自编码器,不能虚构未展示的递归层。
12.1 聚类分析的广泛应用
聚类依赖相似度和业务目的,连续距离、集合交并比与向量角度表达不同对象;分组质量不是算法自动产出的标签真实性。
聚类本质是相似度选择:聚类分析把一组对象按”相似性”分组,但”相似”本身没有唯一定义——闵可夫斯基距离(连续变量,p=2时即欧氏距离)、杰卡德系数(分类变量,衡量集合交并比)、余弦相似度(衡量向量夹角,常用于文本/高维稀疏数据)适用于不同的数据类型和场景。选错距离度量,聚类算法即使跑得再对也会得到没有业务意义的分组,所以聚类本质上不是一个自动化任务,而是需要结合数据特点反复尝试的迭代过程。
聚类本质是相似度选择保留进一步说明及原书证据。
12.2 聚类模型的应用案例
K均值反复分配与更新,选址可用中心提出候选而非证明路网最优;层次聚类从单点逐次合并,连接度量决定树结构,最后仍须选树的切分高度。
K均值聚类需要预先指定K值:K均值交替把点分给最近中心,再用各簇均值更新中心,以降低簇内距离平方和。它需要先指定K,通常只收敛到与初始化有关的局部解,不能保证全局最优。肘部、轮廓与稳定性可辅助选K;离群值、尺度和不适合球形簇的数据都会影响结果,删异常或标准化应有业务依据。
K均值聚类需要预先指定K值保留进一步说明及原书证据。
层次聚类不需要预先指定簇数:层次聚类通过不断合并(凝聚法)或拆分(分裂法)群集,构建出一棵树状结构(树状图),叶节点是单个样本,树的高度代表群集间的距离。相比K均值聚类需要预先指定K值,层次聚类的优势是可以在聚类完成后,通过在树状图的不同高度”切一刀”来选择合适的簇数,聚类结果的层次结构本身也更直观、更容易被解释。
层次聚类不需要预先指定簇数保留进一步说明及原书证据。
判定簇间距离的单连接与全连接:凝聚层次聚类每次合并距离最近的两个簇。单连接把簇间距离定义为跨簇最近一对样本的距离,容易出现链状合并;全连接用跨簇最远一对的距离,较强调簇的紧凑性,但不保证簇大小均等。它们影响层次聚类不需要预先指定簇数形成的树与最终切分,连接规则应与目标形状、噪声和尺度相匹配。
判定簇间距离的单连接与全连接保留进一步说明及原书证据。
聚类中心不等于最优站址:把出租车活动位置聚成K组,可用中心作为服务站选址候选,再结合各时段需求安排服务。但K均值优化欧氏平方距离,通常只得局部解,不直接最小化真实路网的行驶距离或成本;水域、道路方向、土地和容量限制也未自动纳入。它适合作为探索起点,不能把平面图上的质心直接宣布为可建设的全局最优站点。
聚类中心不等于最优站址保留进一步说明及原书证据。
采购数据先看分布和相关再选相似度尺度,层次聚类与树状图帮助分群,回原品类统计解释各类特点。文中说MinMax但代码未展示,不能冒称归一化已执行。
12.3 SQLFlow中基于深度学习的聚类模型
自编码器用重建学习低维表征,K均值初始化中心后接Student-t软分配层,用频次修正的锐化目标及KL损失训练;潜在特征本身不是簇标签。
自编码器的压缩与重建:自编码器由编码器和解码器两部分组成:编码器把高维输入(比如784个像素的图像)压缩成一组低维特征(比如10个数),解码器再尝试用这组压缩特征重建出接近原始输入的结果。整个训练过程不需要任何标签,模型靠”能不能把自己重建回去”这个信号来学习,压缩出的低维特征本身就承载了数据的核心结构,可以直接拿来做后续任务(如聚类)而不需要解码器参与。
自编码器的压缩与重建保留进一步说明及原书证据。
深度聚类的同步优化:传统做法是先做特征提取/降维,再对提取出的特征跑一次K均值聚类,两步互不影响。基于自编码器的压缩与重建的深度嵌入聚类模型则先用自编码器预训练出初始特征、再用K均值给出初始聚类中心,之后把聚类质心也变成可训练的参数,和特征表示一起用反向传播同步优化——特征表示的调整会让聚类更容易分开,聚类信号反过来又引导特征往更利于分类的方向收敛,两者互相促进而不是割裂的两个阶段。
深度聚类的同步优化保留进一步说明及原书证据。
辅助目标分布强化聚类置信度:深度聚类的同步优化以软分配q构造目标p:先对qᵢⱼ平方,再除以该簇软频次fⱼ=Σᵢqᵢⱼ,最后在每个样本的簇维度归一。模型最小化KL(p‖q),并周期性重算目标,以强化高置信分配、缓和大簇主导。频次修正不可省略;自训练也可能强化错误初始分组,不能保证真实类别越来越纯。
辅助目标分布强化聚类置信度保留进一步说明及原书证据。
软分配连接特征与质心:深度嵌入聚类先把样本编码到低维空间,再依据它与各可训练质心的距离,用Student-t形核计算相似度,并按样本归一成软分配q。q同时表达多个簇的相对接近程度,取最大值才成为硬标签。质心可由K均值初始化,随后与编码器一起训练;软分配分数不是已知真实类别的校准概率。
软分配连接特征与质心保留进一步说明及原书证据。
训练周期性重算目标,以标签变化率决定停止,再用道路24小时车速做六组模式探索。代码核心是Dense编码和Student-t聚类,未展示标题暗示的LSTM;训练数据上作分群只说明样本结构,不证明未来稳定或实际交通干预收益。
无监督聚类替代人工经验分类:将每条道路24小时平均车速表示成序列,无监督聚类可发现具有相似潮汐变化的道路组,补充仅凭行政分区或经验标签的粗分类。对早高峰降速组可提出“居民区通往商务区”等候选解释,但这需要地图、方向和外部信息核验;类别不会自动等于业务真相,输入尺度、簇数及季节变化都会影响结果。
无监督聚类替代人工经验分类保留进一步说明及原书证据。
原书依据 · 5 处
- 第12章 基于LSTM-Autoencoder的无监督聚类模型 12.3 SQLFlow中基于深度学习的聚类模型 · 查看原书依据
- 第12章 基于LSTM-Autoencoder的无监督聚类模型 12.3 SQLFlow中基于深度学习的聚类模型 · 查看原书依据
- 第12章 基于LSTM-Autoencoder的无监督聚类模型 12.3 SQLFlow中基于深度学习的聚类模型 · 查看原书依据
- 第12章 基于LSTM-Autoencoder的无监督聚类模型 12.3 SQLFlow中基于深度学习的聚类模型 · 查看原书依据
- 第12章 基于LSTM-Autoencoder的无监督聚类模型 12.3 SQLFlow中基于深度学习的聚类模型 · 查看原书依据
12.4 本章小结
全书最后回到聚类的应用、传统方法与深度表征,再强调以SQL封装调用的便利;理解假设和评价仍由分析者负责。
跨章综合
比较对象决定方法。 第1章的选择概率、第2章的生存时间、第3章的累计价值各自对应不同目标,不能把同一个“用户活跃”字段直接当成相同的分析任务。明确观察单位、事件起点、标签窗口和人群边界,才能判断数据是否回答了业务问题。
可解释性与因果识别承担不同职责。 第4、11章的代理和SHAP说明模型怎样组织输入输出,第6~9章则依靠对照、随机化或稳定性假设比较有无处理。代理保真度高、SHAP加和成立、回归系数显著,都不能单独证明干预有效。
表示和方差都在改变“什么差异重要”。 第5、12章通过尺度、距离和潜在表示组织相似性;第8、9章通过区组和协变量分离背景噪声。前者改变分组依据,后者调整处理效应评价的精度。二者都应在设计中说明选择,避免见到结果后再挑最有利的尺度、分组或变量。
工程封装减少重复步骤,不代替责任。 SQLFlow可以把查询、训练和解释连起来,但仍需检查特征泄漏、模型版本、结果写读和独立测试。书中的模拟扰动、单次样例系数和历史镜像只是教学材料;实际落地还须验证输入、假设和收益口径。
发散与实践
以下为读者延伸,交付的是实践计划和首轮源码映射,尚未运行模拟或训练。优先先读功效计算,再读SHAP输出尺度:两项都可从成熟实现开始,只有静态阅读无法回答的问题才增加最小实验。
从成熟实现理解实验功效(见概览实践入口):已准备固定提交、官方代码与两层阅读计划。
核对SHAP加和的输出尺度(见概览实践入口):已准备固定提交、官方代码与两层阅读计划。