全量评估的核心困境
有些策略(如分享裂变、拉新领券)天然无法做A/B实验——把用户强行分成”能分享”和”不能分享”两组会严重伤害体验,甚至引发用户对被区别对待的反感;按奇偶日分组也不可行,因为用户在不同天的行为会互相影响、彼此干扰。这类场景只能全量上线,评估时唯一能依赖的就是各种事后统计手段去补上”控制变量”这个[[潜在结果框架与AB实验的必要性]]本该提供、但全量场景里已经丢失的核心要素。
主题对照
比较潜在结果框架、双重差分、合成控制与贝叶斯结构时序等构造反事实、区分相关与因果的方法。
有些策略(如分享裂变、拉新领券)天然无法做A/B实验——把用户强行分成”能分享”和”不能分享”两组会严重伤害体验,甚至引发用户对被区别对待的反感;按奇偶日分组也不可行,因为用户在不同天的行为会互相影响、彼此干扰。这类场景只能全量上线,评估时唯一能依赖的就是各种事后统计手段去补上”控制变量”这个[[潜在结果框架与AB实验的必要性]]本该提供、但全量场景里已经丢失的核心要素。
多元线性回归里,只要往模型里加一个自变量,哪怕它和因变量毫无关系,R²也会机械地变大,因为残差平方和不会因为多一个自由变量而增大。调整后的R²在计算中引入了自变量个数的惩罚项,专门纠正”变量越多、R²越好看”这个假象,是判断模型是否真的解释力更强、而不是单纯靠堆砌变量刷分的更可靠指标。
双重差分法(DID)通过对比实验组和对照组”策略干预前后”的变化量之差来剥离出策略效果,它成立的关键前提不是两组水平完全一样,而是”平行趋势假设”:在没有策略干预的情况下,两组指标随时间的变化趋势必须恒定平行,允许存在固定差距,但差距不能随时间自己变化。一旦这个假设不成立,DID算出来的”差分的差分”就会把本来存在的趋势差异误算成策略效果。
当找不到一个天然满足[[DID的平行趋势假设]]的对照组时,合成控制法不再寻找单一对照组,而是从多个候选对照组里学习一组非负、和为1的权重,把它们加权组合成一个虚拟的”合成对照组”,让它在策略干预前的关键指标上尽量逼近实验组。这把”找一个像的对照组”这个主观选择问题,转化成了一个数据驱动的优化问题,减少了人为挑选对照组带来的偏差。
[[DID的平行趋势假设]]方法只比较干预前后两个时间点、假设效果不随时间变化,容易低估置信区间、忽略效果的增长期和衰减期。Causal Impact改用贝叶斯结构化时间序列模型,把”如果没有这次干预,序列本来会怎么走”当作一个可以拟合概率分布的隐藏状态来预测,再拿真实的实验期序列和这个反事实分布逐日比较,得到随时间变化的效果估计,而不是一个笼统的干预前后均值差。
两个变量存在统计相关,只能说明它们的走势有关联,不代表其中一个导致了另一个——经典例子是美国各城市收入与计算机博士数量高度相关(相关系数达0.9978),但两者更可能是被经济增长等第三方因素同时驱动,而非互为因果。相关性可以在探索阶段提供研究方向的线索,但要证明真正的因果关系,还是需要靠受控实验或严谨的因果推断方法,不能直接把相关系数当因果证据用。
因果效应的严格定义要靠”潜在结果”:同一个个体如果接受了干预会怎样、如果没有接受又会怎样,二者之差才是真实的因果效应。但现实中一个个体只会经历其中一种情况,另一种结果永远无法被观测到,这是因果推断的根本难题。A/B实验用随机分组巧妙绕开了它:把总体随机拆成两组后,两组的平均表现可以互为对方的”潜在结果”,对照组的均值就近似地充当了实验组”如果没有接受干预”的反事实。
书中案例:促销折扣低使订单大增,配送量随之猛增,配送期间商品破损率也上升。折扣低与破损率上升同时出现,但二者没有因果关系,共同原因是促销带来的配送压力。解读相关性分析时,要先排查背后有无共同驱动因素,否则会做出错误的业务归因。
评估数据对销售的贡献要区分两种:直接销售收入,指靠数据精准推送、被客户接受而促成的销售;间接销售收入,指数据与其他业务优化协同促成的提升,理论上要在其他要素不变的前提下对比数据介入前后。但现实中内外部因素难以控制,这种对比只能提供相对的参考估算。
措施前后比较可检验安全事件频率或处理时间是否变化,但统计显著只排除部分随机波动解释,不能单独证明变化由该措施造成。若资产规模、检测能力或报告口径同期改变,应分层或设置对照,才更能判断实际效果。原书把显著结果视为措施因果证据,此处须加上该边界。
两个变量一起变化,只能说明它们在样本中相关;共同原因、选择偏差或偶然波动都可能造成这种关系,单凭相关性无法确定因果方向。把婚前同居与离婚率的相关直接写成同居导致离婚,就是把建议包装成数据结论。解释关联前要寻找能区分因果机制与替代解释的证据。
探索性分析从大量混杂数据中发现模式与关联,适合提出后续问题;它没有受控实验的设计,不能单凭相关性断言因果,也不应把探索出的群体模式写成定型结论。公开处理选择、样本限制与不确定性,再用更严格的研究设计检验,是从发现走向解释的必要步骤。
城市房价回落与收入、教育、通勤时间及住房建设呈现关联,可以帮助提出后续解释;但人口普查和销售数据的散点关系没有隔离混杂因素,也不能证明贫困导致跌价。把观察性结果作为待检验线索,再用更合适的数据设计验证机制。
重新划区约每十年发生,非处理年份占多数;合并拟合可能掩盖处理组关系差异。评估干预时,应检查处理与对照的前后关系是否不同,再决定是否建模交互或处理效应;不能机械地把分组建模当成普遍规则。
模型可以利用数据中的统计关联作预测,但找到关联不等于解释因果,也不能保证干预某个输入就产生同样效果。书中用这一点区分已知经验规则和数据挖掘。方法、数据范围及验证目标仍需明确,不能声称所有机器学习都放弃因果问题。
点击箭头逐层展开,点击卡片标题查看详情。路径上下文仅用于连接层级,不计入主题卡片数。
来源书籍
企业大数据建设类
书籍类型:工程实践
清单覆盖 7/7
102 张卡片
来源书籍
安全/密码学类
书籍类型:未标注
清单覆盖 7/7
201 张卡片
来源书籍
数据科学实践类。全书虽为多作者案例集,但整体围绕真实数据项目的定义、获取、清洗、分析、建模、呈现与治理,符合端到端数据科学实践的判定范围。逐项对照必答维度:
书籍类型:未标注
类别清单尚未核对
229 张卡片
来源书籍
统计建模与因果推断类
书籍类型:未标注
清单覆盖 8/8
93 张卡片
来源书籍
书籍类型:未标注
357 张卡片
主题索引
从数据里得出可行动的结论:用户行为与生命周期怎么建模、A/B 实验怎么设计才有效、观测数据下的因果推断能推到哪一步。
主题索引
比较企业如何确定大数据战略定位与启动时机、设计数据部门组织与岗位、评估数据投入产出与资产价值,以及数据与业务、经验决策之间的协作边界。
与 1 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类
与 1 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类
与 1 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类
与 1 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类
与 1 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类
与 1 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类