此笔记位置已失效,请从目录继续阅读。
全书导读
本书的中心问题是:预测一个结果,与判断主动行动的后果、解释已经发生的事实,究竟差在哪里?作者用概率生成建模和Python工具把因果图、结构机制、干预、反事实、识别与决策连接起来。读者需要跟随假设与查询,而不只跟随库调用。
全书四部分依次建立概率与图基础、讨论结构机制和深度生成模型、展开干预与反事实推断、再转向工作流、强化学习和语言模型。游戏参与、推荐、图像与故事生成都是贯穿机制的教学例,不能把示意图或模拟数值直接当现实业务证据。
本次读取本地2025版的29项spine,13章正文、前置实质文本、代码及图像均已完成。若原书公式或实现缺少必要条件,讲解会明确其适用范围;这些说明来自逐单元取材,不代表已经安装所有库或复现模型。学习重点是让“想问什么、假定什么、数据知道什么、算法算什么”始终对齐。
全书主线
起点是把业务语言转成清楚的查询。谁会退订是预测问题,改变某种参与机制会怎样是干预问题,某位已退订用户若未遇到某变化会怎样则带事实证据与跨世界背景。不同问题需要不同信息,不能用同一回归或生成接口混答。
概率生成模型先描述联合分布怎样产生样本;DAG进一步声明因果父节点和条件独立;SCM则用结构赋值与外生背景明确机制。同一个观测分布可能对应多种因果结构,同一组干预边缘也可能对应不同个体反事实耦合。表达形式越丰富,越要说明新增假设从哪里来。
模型确定后,干预更换指定机制,反事实保留事实对外生背景的信息、再行动并预测。识别负责判断目标是否由假设和可用分布唯一确定;估计负责有限样本与计算近似。后门、前门、工具变量和单调性等路线提供不同桥梁,不是可互换的按钮。
最后把这些桥梁放进决策与AI系统:策略替换行动机制,生成模型用模块表达假定DGP,语言模型辅助整理假设或充当文本概率核。共同难点始终是语义和证据,而非代码能否输出一个数、一张图或一段故事。
序言、前言与阅读指南
序言强调时间先后不足以证明因果,并用相关代理在环境变化中失效的情形引出显式机制。前言希望把领域知识转为可执行模型,以概率编程和深度学习工具承担部分计算;工具并不替读者决定因果假设。
阅读指南说明DoWhy组织分析流程,pgmpy支持图模型,Pyro连接概率编程与PyTorch。全书四部分依次建立概率基础、建图检验、因果层级及实际应用。不同章节的依赖版本可能不同,复现应逐章保存配置。署名、致谢、献辞、版权和封面身份不作为技术证据;部分引言对鲁棒性或药物成本的强断言不转成无条件结论。
序言以“先发生不等于导致”引入因果,强调相关代理在机制变化下可能失效。这里可迁移的知识是找出模型依赖的关系与假设,而不是无条件认定所有稳定预测必然学到真实因果。
进一步阅读:时间先后不足以证明因果;相关代理可能随机制改变失效。
前言把本书的训练重点放在将领域知识转成代码中的模型,借助概率编程和深度学习工具处理部分统计计算。这种分工要求读者明确哪些结论来自数据,哪些依赖模型假设。
进一步阅读:因果建模与计算推断分工。
阅读指南交代了工具职责和四部分组织,也说明不同章节可能使用不同依赖版本。前置概率知识会在第二章补足,正文后续依次展开图约束、结构模型、干预、反事实、识别和应用,不能从路线介绍提前宣称所有推断都可由库自动完成。
进一步阅读:库的职责要匹配建模问题;按章保存依赖版本。
为何需要因果AI
第一章以流失分析拆分因果任务:发现原因、估计平均与分群效应、解释已经发生的事件,以及选择行动。这些问题不同于只预测谁会流失。因果推断用对数据生成的假设约束分析,因果AI则将部分推断算法化;自动化计算不意味着假设自动成立。
本章讨论鲁棒性、模块复用、领域解释和公平分析的潜在收益。共同前提是图和机制足够可信且明确适用范围。将曝光、互动、购买拆成机制可以帮助局部更新,但不能把可读变量或网络分段直接当成真实因果结构。公平讨论还需价值标准,统计或因果工具本身不能裁决。
MNIST例子展示从查询到概率目标再到统计估计的路线。分类P(D|I)与改变写作者或笔画条件的图像效应不是同一任务;混合数据切分也不验证跨人群外推。手写数字DAG及年龄标签均是教学假设,原图调整表达式有条件/归一化问题,不照抄成可直接执行结论。后续章节将展开图、结构模型、干预、反事实与识别。
进一步阅读:先把业务问题拆成因果查询;因果发现研究哪些关系成立;平均效应比较干预下结果;条件平均效应限定目标人群;反事实追问已发生事件的替代;归因需要区分本会发生的结果;因果决策比较行动造成的结果;因果推断依赖因果假设;归纳偏置限制模型可学解释;因果模型约束数据生成方式;因果AI自动化仍受识别边界约束;不能实验时仍需可识别条件;实验设计先确定想知道什么;欠约束可能被同样测试分掩盖;分布漂移需要定位变化机制;机制模块化支持局部复用;领域语义解释仍有内部盲区;群体差异需要拆解生成路径;去掉敏感字段仍可能保留代理;公平标准不能由因果图独断;因果表示要反映可干预因素;行动相关奖励不等于干预奖励;问题目标量与估计方法分开;分类概率回答观察问题;数据切分要对应部署变化;生成因素图是假设而非数据事实;干预图像比较的是生成条件;反事实记号不能替代识别推导。
概率生成建模入门
概率生成建模先确定变量及其结果空间,再定义联合分布、条件分布和边缘分布。离散质量对结果求和,连续密度对区间积分;密度数值不是单点概率。联合分布经边缘化消去变量,经条件化纳入观察信息,链式规则则把同一个联合分布写成多个条件因子的乘积。
降低模型复杂度依赖独立性假设,而不是链式分解本身。条件独立必须附完整条件集,增加条件可能改变关系。典型分布与其位置、尺度、形状参数为机制提供表达语言;pgmpy表格和Pyro分布对象是计算载体,仍需检查归一化、轴顺序、参数约束和所用版本。
期望对函数值按分布加权,条件期望则使用条件分布。线性期望无需独立性,但非线性函数通常不能和求平均交换。观察条件下的均值差仍是关联量,尚需因果识别才能成为干预效应。
进一步阅读:随机变量把可能结果形式化;概率质量与密度不可混用;分布记号与单个事件分开;联合分布描述同时发生;边缘化消去不关心的变量;条件分布需要正概率条件;条件概率表要对齐轴与状态;概率因子未必已经归一化;链式分解本身不声明因果;贝叶斯公式交换条件方向;马尔可夫简化依赖独立假设;马尔可夫核表达条件分布;参数必须满足分布约束;按生成条件选择典型分布;位置尺度与形状各有职责;对数概率保留数值尺度;条件机制可以参数化均值;独立性由分布关系定义;条件独立依赖具体条件集;期望是按分布加权的函数值;期望线性不要求变量独立;条件均值差尚不是因果效应。
把分布写成程序后,就可以按条件依赖逐步采样。pgmpy用有向图和条件表组织生成,Pyro允许随机站点、分支和循环。模型生成只保证符合程序设定,不能自行证明现实机制。
蒙特卡洛用样本平均近似期望,指示函数则把概率查询转成期望查询。若想从模型推断观察条件下的隐藏变量,需要拒绝筛选、重要性采样、变量消除、消息传递、变分近似或MCMC等方法;它们各有支持、复杂度和近似条件。MCMC拒绝时的重复状态应保留,含环置信传播不保证收敛。
数据、总体与DGP处于不同层次。IID是对抽样过程的联合要求,共享随机父变量的plate结果仅可条件独立;经验零频率也不是总体不可能。生成过程到观测分布的映射是多对一,这解释了为什么仅靠更多观察记录不能恢复唯一因果结构。
进一步阅读:生成模型是一段采样过程;随机种子服务于重复实验;按条件依次采样恢复联合;概率程序可以包含动态控制流;采样站点名标识随机选择;蒙特卡洛先变换再平均;指示函数把概率转成期望;概率推断改变查询分布;拒绝筛选有支持与效率限制;重要性权重纠正采样分布;变量消除控制中间因子规模;置信传播依赖图的结构条件;变分推断优化近似分布;马尔可夫链采样保留拒绝状态;数据是观测而模型是解释;总体需要对应实际目标;IID同时要求独立和同分布;共享潜变量会造成边缘依赖;经验零频率不等于不可能;因果生成到观测是多对一。
统计推断把有限数据用于学习模型参数或评价假设。极大似然比较观测数据在候选参数下的支持程度,正则化加入复杂度偏好;贝叶斯估计则为未知参数和隐藏变量保留条件分布。它们都有模型与计算前提,不会自行获得因果含义。
无偏描述重复抽样均值,一致性描述大样本收敛,二者都不保证一次估计准确。独立性检验与预测表现需要考虑功效和模型能力,训练拟合或交叉验证也不能唯一恢复DGP。最后,本章把概率的计算语言与其哲学解释分开:使用确定性机制加外生噪声来建模,不等于宣称现实全无随机;使用贝叶斯公式或算法,也不等于必须采用全部主观概率立场。
进一步阅读:独立性检验不证明原假设;可预测性与独立性区分层次;极大似然比较数据的模型支持;正则化把偏好加入拟合目标;贝叶斯估计保留参数不确定性;超参数是更上一层模型设定;无偏描述重复抽样的均值;一致性是大样本收敛性质;计算成本也约束估计选择;拟合优度不唯一确定生成机制;决定论模型把未知放进外生量;主观概率表达信息下的信念。
原书依据 · 54 处
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
构建因果图模型
第三章把关于现实生成过程的假设写成因果DAG。图的价值在于沟通、计算和显式化约束:箭头说明谁直接影响谁,缺边同样排除可能机制;图并不展示函数、效应大小或交互。变量的层次和编码须围绕查询选择,不能直接把现有数据列当作全部DGP。
在DAG马尔可夫假设下,每个节点在给定完整父集后与非后代条件独立,联合分布因而分解为父集条件机制的乘积。这个结构可作为概率模型骨架,再分别选择条件表、回归或神经网络。分类表可按频数极大似然估计,也可使用Dirichlet先验平滑;隐藏变量允许进入模型,但编号、语义与可识别性不能由优化自动解决。
训练后的P(E|T=train)等查询是观察条件推断;使用因果图并不会把它变成do干预。参数是否可识别与目标因果量是否可识别也需分开检查。跨库实现需对齐状态编码、轴和参数,原书的pgmpy与Pyro例子存在数值与类别差异,不能直接作为同一参数模型已复现的证据。
进一步阅读:因果DAG表示机制关系假设;缺边同样承载强假设;因果抽象要求保留相关关系;图省略了作用函数与交互;变量定义影响可回答的问题;因果图提供的是偏序;跨时展开可表达部分反馈;局部马尔可夫性屏蔽非后代;马尔可夫分解按父集建模;结构假设与参数形式分开;分类条件表按父状态计数;狄利克雷先验平滑分类计数;潜变量可进入模型而未被测量;潜在类别编号没有天然语义;参数识别与因果识别分开;证据查询仍然是概率推断;跨库复现先核对状态编码。
条件机制的分解带来模块化视角:局部机制变化可以改变下游边缘分布,而不必改变其余条件机制。跨域复用、数据融合和不变预测依赖哪些机制保持相同、变量是否充分及数据是否覆盖目标条件,不能只因给定图就保证迁移。参数块是否可分别训练,还取决于有无共享或后验耦合。
建图范围从查询出发:先放入目标变量,补充共同原因,考虑识别或估计辅助变量,再加入有助沟通的内容。因果充分性、祖先裁剪、工具变量及效应修饰都需要精确条件;原文把远祖先删去后的集合仍称充分存在边界问题,保留节点之间的隐藏共同原因不能被忽略。
按变量角色生成的DoWhy图可作为交流模板,却把结构假设隐含在角色定义中。图的复杂程度、故事的完整性与目标量能否被识别并非同一个问题。下一章将通过DAG约束检验与发现算法,探索数据如何排除部分错误图,而非证明唯一真实图。
进一步阅读:机制独立支持局部替换;参数模块化依赖独立设定;先验独立未必保持到后验;跨环境复用先核对机制不变;数据融合需要明确各源差别;边缘概率变化不等于机制变化;手工设参也需概率一致性;建图范围从查询开始;共同原因不只看直接父节点;因果充分性是一项集合假设;祖先裁剪需检查全部路径;估计辅助变量有不同用途;工具变量不是任意处理父节点;效应修饰由效应差异定义;角色模板把结构假设隐式化;沟通完整不等于识别更强;建图顺序先问题再证据。
原书依据 · 34 处
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
用因果约束检验DAG
第四章把因果图转为可质疑的约束。核心是d分离:它检查两端之间的所有路径,路径行进不要求顺着箭头。非碰撞点进入条件集会阻断路径;碰撞点默认阻断,但条件化自身或后代会激活这一处。由于一个节点在不同路径上的角色不同,增加条件可能挡住一路又打开另一路。
图分离、分布独立和数据检验是三层概念。全局马尔可夫性质让d分离推出条件独立,因而提供检验线索;有限样本检验仍会犯错,未拒绝也不能证明图真实。图算法可包含隐藏节点,但涉及隐藏测量的检验不一定可执行。工具枚举结果含冗余及集合陈述,应先整理目标再统计,不能把输出条数等同于独立有效检验数。
进一步阅读:碰撞点由路径两箭头定义;条件化共同结果可能引入依赖;d分离检查路径而非因果方向;非碰撞点入条件集会挡路;碰撞点需自身或后代被条件化;全部路径阻断才算d分离;增加条件不保持分离单调;最小分离集不等于最少节点;图分离与分布独立分层;全局马尔可夫性提供检验约束;图算法无需先测量全部节点;枚举输出要辨认冗余陈述;反驳约束不等于证实剩余图;按图检查条件的统一规则。
将图约束交给统计检验时,先明确原假设、数据支持和统计量。分类卡方检验受稀疏分层影响,布尔True也只表示未拒绝。汇总失败比例时,分子分母必须使用同一去重检验集合;关键识别假设的违反比一个无区别通过率更值得解释。
本章样本量演示从固定经验表反复抽样,并非从原始独立总体持续获得新观察。经验表自身的偶然依赖可在重抽大样本中被检出,所以不能据此声称真实独立下数据越多越易产生伪相关。重抽p值分位区间也不是均值的置信区间。
多次比较、检验类型、非线性和高维变量会进一步影响可靠性。预测增量可作探索工具,仍需足够模型与样本外协议;离散化虽方便,却改变测量与条件信息。保留这些边界,是为了让反驳结果服务明确的因果查询。
进一步阅读:检验只给拒绝或未拒绝结论;卡方检验需要足够格子信息;布尔检验结果需要保留含义;失败比例的分子分母须同源;优先检验关键识别假设;检验方法必须匹配依赖形态;置换需要可交换性依据;固定样本重抽不等于新总体;原假设成立不推出p值递减;重抽分位区间不等于均值区间;多次检验需整体错误控制;预测比较须评价增量信息;离散化改变了被检验变量。
隐藏变量减少可直接检验的独立关系,却未必让模型不可检验。Verma约束展示另一类代数限制:本例求和表达式在固定l和t时不随c变化。依据Shpitser与Pearl原始论文第2页,此类独立性属于对应干预分布。原书把它改成原始观测列C与h(L,C,T)独立,再用箱线图或ANOVA检验,这不是同一个命题;笔记保留概率核不变性的正确含义,不把该演示当作已验证的通用方法。
因果发现反向利用数据约束搜索图,可走约束、评分、函数假设或连续优化等路线。约束式方法常需忠实性,隐藏共同原因也会让观测变量之间的边被误解。即使得到全部独立关系,马尔可夫等价类仍可能保留多个方向;部分定向图用于诚实表达这种不确定性。
领域约束和实验信息可以减少歧义,但也增加须说明的假设。发现输出是继续建模的候选,而不是自动证明真实DGP的最终答案。本章的可靠路径是:图导出明确约束、用适用方法寻找矛盾、解释修改,再回到目标因果查询。
进一步阅读:隐藏节点不必使模型无法检验;Verma约束是表达式的不变性;辅助模型误差会影响约束检验;均值相同不等于分布独立;发现算法利用不同信息约束;连续优化仍需无环约束;忠实性是马尔可夫性的反向;隐藏共同原因会伪装观测边;马尔可夫等价留下方向歧义;部分定向图记录方向不确定性;碰撞定向需要完整发现条件;领域约束能缩小图搜索空间;发现结果是建图的候选输入。
原书依据 · 40 处
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
连接因果与深度学习
第五章把神经网络放进已有因果图:数字身份、书写方式和潜变量Z作为图像的父变量,解码器表达图像条件分布。整幅图像可以是矩阵值节点,板记号保存像素与样本的重复维度;建模抽象应由查询决定,而非默认把每个像素都当成独立因果节点。
条件VAE的编码器从图像与标签得到Z近似后验参数,解码器从Z与标签得到图像参数。model和guide按站点及板对齐,SVI共同训练两个网络。ELBO是证据下界,其重建项与对先验的KL各有职责;真实后验的KL是下界间隙。灰度输入套Bernoulli并关闭验证,是代理目标,不是自动合法化的灰度生成分布。
训练诊断包括每样本损失、重建及先验生成;反复用于调参的留出集属于验证用途。源代码的单列二值argmax会总返回0,损失日志也有总量/均值混用,不能直接引用生成标签日志或训练图证明实现已正确复现。低维编码即使能重建图像,也只是潜在原因的替身,尚未恢复真实可干预因素。
进一步阅读:深度网络可参数化因果机制;通用逼近不保证训练可行;图像节点可以是整幅矩阵;生成标签与事后标注要区分;同一图像可在不同问题中换角色;板记号压缩重复结构;潜在编码只是未建模原因替身;解码器输出的是分布参数;编码器输出后验近似参数;指数尺度要关注数值稳定;模型与引导共享随机站点;灰度不是伯努利合法结果;条件VAE的证据下界分两项;批损失比较要统一归一化;训练监控集不能兼任最终验收;重建与先验生成检验不同路径;二值标记不能用单列取最大值;VAE模块关系按职责组织。
VAE训练没有自动获得额外因果监督。Z可重建图像,却可能混合真实机制与其他变化;解耦需要能区分候选表示的信息。因果解释的作用是显式提出哪些因素、哪些机制及哪些不变性值得研究,而不是把普通生成网络重新命名后就获得反事实保证。
半监督案例讨论无标签X何时帮助预测Y。只有把P(X)与P(Y|X)连接起来的结构或假设成立,边缘信息才能改善条件预测。原书用机制独立区分因果与反因果方向;相关原始论文把这写成简单生成设定下的假说及初步元分析,不是无条件定理。方向可以指导实验优先级,不能取代对数据机制和实际改进的验证。
进一步阅读:重建信息不等于因果信息;无监督解耦需要额外信息;归纳偏置是学习偏好的来源;反因果预测从结果推原因;半监督需要边缘信息连接条件;机制独立形成半监督方向假说;边缘流行率不能单独反推机制;机制假设指导实验而非替代实验。
结构因果模型
第六章把图中的条件机制进一步写成结构赋值:给定外生原因,内生结果由函数确定;外生分布让整个系统仍能随机生成。本书主要使用独立外生噪声的无环形式,这是一类SCM,不能扩大为所有结构模型的普遍定义,更不能由形式推断整个现实世界没有随机性。
重参数化可把条件抽样改为显式外生噪声加确定函数,但相同DAG与观测分布仍可能对应多种结构。应按目标干预或反事实比较它们,而非只比较公式;对称噪声的全局符号重命名可能保留完整查询含义。用模拟数据监督猜结构,也会把模拟先验带入结果。
规则系统提供另一条路径:将已知规则直接写进赋值函数。三门问题中,主持人规则决定换门优势;有限函数可编码成每列恰一个1的条件表。不可达父组合的补值可能被未来干预用到,后验策略比例还依赖策略先验,这些细节都属于模型的一部分。
进一步阅读:结构因果模型显式规定赋值;内生与外生依建模边界区分;外生分布使确定机制能生成;独立噪声是额外模型选择;赋值符号说明机制方向;重参数化可搬移随机来源;离散抽样可写成阈值赋值;相同分布不唯一确定结构;噪声重命名未必改变反事实;结构差异应按目标查询比较;模拟监督携带生成先验;规则系统把已知机制写入模型;三门问题依赖主持人协议;确定性概率表逐列单点质量;不可达输入仍可能影响干预;反推策略比例需要策略先验。
训练SCM先选赋值函数及外生分布,再估计其参数。线性高斯、线性非高斯及非线性加性噪声是不同模板;加性入口、独立性、支持及函数形态都需要依据。线性边系数与多路径总效应不等同,非高斯也不自动保证非负。动态模型的平衡解可启发静态机制,但必须检查稳定及时间尺度。
普通回归能拟合结构参数,却不决定父集和真实噪声。MSE不强迫现实正态,漏斗形散点可提示异方差;无约束β再取log也有数值定义域问题。概率模型可表示随X变化的尺度,若改成SCM则需显式把独立噪声经√X缩放。
流模型通过可逆映射和Jacobian获得输出密度,解决一部分“会生成却不会算似然”的问题。依据Pyro条件样条文档,本例条件样条保证固定context后对噪声输入的性质,并不保证对原因X的单调或饱和。学习好观测分布不等于满足那项机制假设。采样维、条件批维和归一化单位也须明确,不能只用一张生成叠图完成机制验收。
进一步阅读:赋值函数应服务查询机制;加性噪声限制作用方式;线性高斯模型说明参数职责;非高斯不自动保证结果非负;非线性加性保持噪声入口;平衡机制需要稳定条件;结构回归不任意添加预测项;最小二乘不要求噪声正态;异方差要写进噪声缩放;参数约束需覆盖优化全过程;可生成不代表能直接计算密度;流用变量替换计算输出密度;条件样条的单调轴要说清;采样维与条件批维分开;归一化改变密度单位;拟合叠图不能验收结构假设。
干预与因果效应
第七章从模型部署反馈说明为什么预测不等于行动评价。广告会改变后续收入,欺诈拦截会留下选择性标签;旧策略参与生成了新数据,不能假装训练样本一直来自未受决策影响的过程。游戏案例用公会共同原因区分自然高参与者的购买与强制提高参与后的结果。
理想干预固定目标并切断其原来原因,保留其他机制。SCM替换赋值,图删入边,概率模型还要更换目标核;工具名相同未必完成了全部操作。固定X为常数后,也不能把剩余有向路径直接理解为该固定分布中的统计相关,效果需要跨不同干预值比较。
在本例图与机制正确且数据支持足够时,可以用ΣgP(I|e,g)P(g)标准化到目标总体,区别于自然条件下按P(g|e)加权。模型模拟有条件地帮助评价行动;参数舍入、非负支持及原表前后组别矛盾均须记录,不能把近似模拟等同真实实验已复现。
进一步阅读:部署决策会改写训练环境;拦截交易造成选择性标签;分组均值差不自动回答行动;组别与差值方向需同时固定;随机分派不保证实际接受;理想干预替换目标机制;图手术删除目标所有入边;固定常数不等于观察到的独立;条件化保留原来的生成选择;按共同原因标准化保持目标人群;模型模拟依赖识别及拟合;四舍五入会改变模拟总体;概率支持要符合结果含义;do操作与普通赋值有区别;图工具同名do未必固定取值;未受干预后代影响的量可保留;一个因果模型定义多种分布。
干预效果是对不同干预结果的明确比较。ATE比较同一总体的两种平均结果,多类别需指定基线或混合策略,连续处理可研究剂量响应曲线及局部导数,CATE则把平均比较限定在干预前属性群体。个体效应分布比平均差需要更多跨情境信息,不能只凭两种边缘干预分布获得。
随机或条件政策把目标机制改成分派规则,若依赖时间或状态,就保留相应新依赖。有效随机化可保护分派不受既有共同原因支配,但不替代对实际接受、失访及干扰的分析。回归、比率和显著性工具只有在目标量与识别先明确后,才承担对应估计职责。
实践上要把变量绑定到清晰的操作版本,比较预测与实验时表达采样不确定性。非理想行动可显式作为变量建模,但它的选择原因也需保留。干预模型能帮助提出与评价假设,不会把不可识别问题自动转成可由观察确定的答案。
进一步阅读:ATE先固定处理对比与总体;多类别效应需要明确基线;连续处理可研究剂量曲线;CATE是分群平均而非个体效果;均值差不需要个体效应联合律;比率与差值量度不能互换;回归系数要对齐目标尺度;不确定性不只来自采样;随机干预替换为分派规则;按时间分组保留时间混杂;随机化保护分派而非所有环节;政策评价要写清观察状态;现实实验用于检验预测分布;干预变量需要明确操作含义;非理想行动可显式加入机制;效果评价连接定义识别估计。
原书依据 · 33 处
反事实与平行世界
第八章将自然语言中的事实、替代设置与目标结果拆开。反事实可用于个体解释、政策学习和归因,但分类器输入翻转首先只是模型函数分析;行动补救还需可实施性,公平也需规范及因果定义。遗憾比较能启发学习,却不把想象的未选结果变成独立真实数据。
符号上,事实放在条件右侧,干预标在潜在结果下标;观察某个群体、设置某个属性及同时设置多个变量是不同查询。自然语言“如果”有歧义,不能自动写成do。一致性把实际处理相同版本的潜在结果与事实结果联系起来,前提是操作语义一致。
二元因果概率进一步细分对象:PN面向X=1,Y=1者,PS面向X=0,Y=0者,PNS则是Y1=1且Y0=0的跨世界联合。PD和PE只按实际结果分群。明确条件比记住名称更重要,这些量也不能仅靠两组观察比例或干预边缘自动得到。
进一步阅读:反事实查询把事实作为证据;分类器改判不等于现实改变;最小反事实依赖距离定义;行动补救需加入可实施约束;反事实公平依赖规范与模型;遗憾比较已选与未选结果;事实条件与假想设置分栏;自然语言如果不自动等于do;多重设置不同于分群条件;一致性连接事实与对应潜在结果;连续精确条件需要概率语义;必要性概率限定已发生人群;充分性概率限定未发生人群;必要充分概率属于跨世界联合;必要充分分解依据一致性;启用停用概率使用不同条件。
归因不只描述因果概率,还可能加入事件异常程度等背景评价。ACS是本章展示的一种组合,而非通用责任标准。uplift四类由同一对象的两种潜在结果定义;平均增量只给受益型减去受害型,不能自动确定四类概率,更不能直接观测每个人的成对标签。
平行世界图把这些跨情境对象连起来:复制内生节点及机制,共享外生变量,再只对目标世界执行干预。相同外生值与相同机制保证未改动世界的一致性;事实证据限制共享外生条件,之后的新世界沿用这份约束,而不是重新抽一个人。
多世界查询还可把一个反事实结果作为另一个世界的条件。证据属于哪个世界、结果在哪个干预下,是查询含义的一部分。理想干预图通常少入边,但不同干预世界不一定形成嵌套子图,状态政策也可能新加边;“世界更简单”只能是有限范围的直觉,不是算法或识别保证。下一章将具体实现这些条件下的推断。
进一步阅读:归因分数还包含背景判断;异常程度不等于责任大小;四种响应类型由成对结果定义;增量均值不足以确定四类概率;触达决策还需成本与约束;平行世界共享的是外生条件;复制而不干预应保持一致;只改假想世界保留事实证据;反事实证据也能限定第三世界;联合干预与跨世界条件不同;世界简单性只是特定操作后果;双世界结构把对象联系起来。
通用反事实推断算法
第九章用“溯因—行动—预测”具体计算已形式化的反事实。溯因根据事实求外生联合后验,行动替换假想世界机制,预测沿同一后验样本传播。总体干预使用先验,个体事实反事实使用后验;要比较同一对象的多个潜在结果,就必须保持样本对应。
有限状态的三门模型可显式构造双世界并用变量消除合并溯因和预测。已知保持而输与只知输了,是事实信息不同的两个问题。共享硬币同时影响主持人和策略也是结构假设,并非无语义的代码简化。
连续案例通过伪点质量和变分推断近似外生后验。有限Normal尺度改变观测模型,独立引导也可能丢失条件依赖;损失下降或结果更窄都不单独证明推断正确。完整可逆机制允许确定溯因,否则需要保留多解或后验不确定性。平行世界的确定复制会增加图未穷尽的关系,不能因此笼统否定d分离的马尔可夫独立性蕴含。
进一步阅读:溯因先更新外生联合分布;行动步骤只替换假想机制;预测沿后验样本逐次传播;总体干预与反事实使用不同输入;图中确定性破坏的是忠实反推;反事实采样可计算目标函数;有限状态可精确合并推断步骤;共享随机源可关联不同机制;已知输法会改变反事实问题;伪点质量会改变原始模型;均值场引导可能丢失分支依赖;可逆完整观测允许确定溯因;后验条件不保证每例更集中;损失下降不证明推断已校准。
图像例子把语义编辑拆成因子推断、残余噪声推断、因子替换和解码。显式因子分组one-hot、残余Normal编码与逐像素Uniform阈值共同定义模型,不是仅把某个标签改成heart。
原例的像素溯因忽略事实像素为0的情况:对于B=I(U≤p),B=1时U应来自[0,p],B=0时应来自(p,1]。当p依赖z时,区间还必须与同一后验z配对,不能先用均值算p又独立抽另一个z。没有这些对应,连无操作时复现事实的一致性也无法保证。笔记因此保留正确条件关系,不把书中实现当成通用反事实生成器。
生成结果可以按创作目的评价是否合意,但视觉满意不提供真实因果识别保证。模型结构、近似推断与最终用途应分别验收;即使不追求现实机制真值,也应诚实标明所交付的是语义编辑或假设模型结果。
进一步阅读:语义编辑需要保留未变机制;分组编码要保留各自类别轴;因子预测与残余编码分工;阈值像素溯因须用事实像素;噪声后验须与潜变量样本配对;无操作重建检查跨世界一致性;视觉合意与因果准确分别验收;溯因行动预测的计算职责。
识别与因果层级
本章先把目标、假设与数据分别放在关联、干预、反事实层级。层级判断要看目标实际需要的信息:ATE虽可写成跨世界差的期望,但线性期望使它只需干预边缘均值。模拟配对则需要同一个体背景和随机量;重新抽取全部噪声并不是同一个体的另一个世界。
识别是在既定假设和可用总体分布下检验目标是否唯一,不是选一个能拟合数据的模型。实际分析应先固定查询和人群,再列图与数据,随后识别、估计和反驳。后门调整按固定P(Z)标准化;前门利用完整中介截获和两段阻断条件,通过两次加权绕开处理结果间的隐藏混杂。do演算负责在相应修改图满足独立条件时变换表达式,图识别的非参数含义与额外函数假设应分开。
进一步阅读:因果层级按目标语义划分;期望差可降低联合信息需求;模拟反事实要共享个体背景;层级定理约束可用信息;结构线性与回归线性有别;识别要求兼容模型答案唯一;识别与有限样本估计分开;目标表达式与估计器分工;识别失败不能随意改图;后门集合阻断非因果路径;后门调整固定人群权重;后门推导还需一致性与重叠;干预演算依修改图判独立;演算完备性有问题范围;区组由双向边连通形成;前门识别须满足三类阻断;前门表达式含两次标准化;识别流程先确定信息边界。
反事实识别需要把假设的内容写清。原文用条件均值单调性引出PN/PS/PNS公式,但真正排除反向响应个体的是逐个体Y_1≥Y_0。依此PNS等于两个干预成功概率之差;PN、PS另外用到自然人群的事实联合分布。不能把实验边缘与部署人群分配当作同一种信息。
ATT关注实际接受者,故按处理者协变量分布而非总体分布标准化。后门条件下其一般分布识别不要求结果二元。反事实图通过机制等价合并节点;SWIG通过拆分自然值与固定干预值表达单世界独立。两者都是组织假设的工具,不会凭图形制造未观察到的跨世界数据。原文关于SWIG需事先知道单位自然值、给定结果永不可识别等过强概括不采用。
不能唯一确定目标时,可以求兼容目标范围。PNS的边缘界限允许取端点,原图严格不等号应改为非严格。ATE界限图的上界未通过退化分布检查,笔记不保留该式。贝叶斯后验集中也不能替代识别证明:必须区分结构限制、先验限制与抽样误差。
核对资料:Tian与Pearl的因果概率原文、Shpitser与Pearl的ETT识别论文、Richardson与Robins的SWIG入门。
进一步阅读:个体单调性约束潜在结果;单调性把响应者比例变成差;必要充分概率还需事实分布;先验集中不能代替识别;已处理效应针对实际接受者;已处理效应可用处理者权重;反事实图合并须保留等价性;确定性独立不构成矛盾;相同图结构不抹除额外证据;单世界图拆分自然与固定值;单世界独立不提供全部耦合;识别算法先核对查询类别;部分识别报告兼容值集合;因果响应比例有边缘界限;界限应先检验极端分布。
原书依据 · 33 处
构建因果推断工作流
本章把五步流程落实为DoWhy接口:先定义实际参与的效应,而不是把随机鼓励分配的效应偷换为参与效应;再输入图和实际可观测列,寻找后门、前门或工具变量路线。选择路线的核心是其假设可信度,并非结果数值是否理想。共同原因的上游变量缺失不一定阻碍后门,只要可观测集合已阻断相关路径。
估计阶段要继续分清统计条件。回归系数仅在适当的加性与效应结构下直接等于ATE;倾向得分压缩处理分配信息,匹配、分层和加权仍各有有限样本问题。DML以残差、正交化及交叉拟合控制干扰函数估计误差,T-learner比较两个条件均值模型;它们都没有绕过因果识别。工具弱时估计可极不稳定;断点设计也需要现实中的分配阈值和局部识别条件,不能靠对任意连续变量手工切分创造。
进一步阅读:鼓励分配效应不是参与效应;模型与观测列共同决定识别;选择识别策略按假设可信度;局部图不确定未必影响目标;工具变量须关联处理;工具变量不自动识别总体效应;前门第二段允许经处理混杂;线性系数等于效应有条件;连续处理须指定比较方式;调整集合不能堆入所有变量;倾向得分压缩的是分配信息;任意压缩需验证平衡性质;分层匹配加权各有误差来源;逆概率权重要检查尾部;双重学习不只训练两个模型;元学习器输出条件均值差;机器学习仍有结构与推断假设;断点设计需要真实分配跳变;合成数据先检查方法链路。
第五步的反驳包括子样本、随机协变量、安慰剂处理、虚拟结果和未测混杂敏感性。各自只攻击某一种稳定性或零效应预期;测试未拒绝并不能验证整个图。使用时应保持目标、识别对象、估计器与列名一致。原例敏感性代码设backdoor却传前门估计对象,输出数值又来自另一估计器;笔记不把它当成可直接运行并有一致解释的完整流程。
生成模型路线把参数学习、查询变换和概率推断组合起来。全局Beta概率与每个单位的Z须分清;注册神经权重只会得到点参数,并未给这些权重自动添加先验。前门目标可以在某些潜参数不唯一时仍被识别,但这不保证低维代理模型一定充分、变分近似一定正确或训练一定成功。后验预测检查也应覆盖目标所需联合关系,不能只看购买密度。
原例两次独立Predictive调用后逐序号相减,会把不同参数抽样配为一组;要解释ATE后验,应对同一全局θ计算两种处理均值。原guide还根据训练数据生成局部Z,必须区分训练单位后验预测与全新单位总体预测,并分离积分噪声和参数不确定性。这些计算条件与前门识别条件分别交代。
核对资料:EconML的DML方法说明、Pyro Predictive实现、断点设计基础原文。
进一步阅读:反驳检验通过不证明假设;子样本测试检查稳定性;随机协变量测试数值稳健性;安慰剂测试须说明零效应;虚拟结果依赖其生成机制;未测混杂分析报告强度范围;变换模型与推断算法分工;参数不识别未必目标不识别;潜混杂压缩必须保留观测规律;神经权重注册不赋予后验;局部潜量与全局参数分开;变分编码器给分布不是真值;概率网络输出要满足支持域;预测检查应覆盖关键联合结构;样本潜量后验不同新人先验;效应后验两臂须共享参数抽样;预测随机性与参数不确定分开;识别成立仍需估计链路正确;因果生成估计的三层职责。
原书依据 · 38 处
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
- · 查看原书依据
因果决策与强化学习
决策从效用、行动可控范围和可用信息开始。主动行动的价值应基于干预结果分布,不能简单把历史行动人群的平均结果当作因果收益。期望效用、最坏损失和softmax规定不同的取舍;Thompson sampling是先按后验抽模型再在其中选优,不是softmax的另一个名称。统计可容许性也是风险函数上的非支配结论,不是每次实际收益的胜出保证。
书中的投资表格只展示观测价值与干预价值可能排名相同、也可能因参数改变而分离;不构成现实投资事实。Newcomb演示另外固定了先意图、再预测填箱、后自由改选择的时序。在此模型里给定相同意图,两箱始终比单箱多1000;不能拿一个意图人群的条件价值与另一个人群的策略价值比较并据此宣布普遍优势。内省的可复用点是把行动前内部信号当作证据,同时清楚区分观察该信号与干预它。
序列图进一步区分环境的单步机制与策略引入的跨期依赖。bandit即时反馈并不意味着自适应行动轨迹独立;一旦行动影响未来上下文,需要把长期后果写入动态模型。延迟结果的查询必须说明是改变某一步,还是替换整段行动规则。
进一步阅读:效用函数表达决策偏好;行动记录与干预查询分开;期望效用对干预结果积分;最坏损失规则要明确最坏范围;软最大随机化依赖温度;汤普森采样先抽模型再选优;可容许性比较整体风险函数;贝叶斯可容许保证需要条件;相同最优排名不证明目标等价;反事实决策比较固定证据信息;内省可作为决策前证据;即时反馈不等于轨迹独立;上下文改变要看是否受行动影响;延迟结果须区分单步与序列效应。
策略部署可表示为对行动生成机制的替换:仍由可用历史决定行动,因此保留该历史到行动的影响。上下文共同原因也可能让策略日志中单一行动的条件关联与因果效应不同。对于多步过程,上一行动会改变后续状态及信息,故整体策略价值必须沿修改后的状态分布计算。
MDP把充分状态、行动、转移核和奖励组合起来。正确Markov条件要同时给定状态与行动;POMDP则用历史信息推断隐藏状态。标准Bellman递推本来就描述受控环境,不应统称为非因果。实务问题发生在把受混杂日志条件概率误当受控转移核、状态不足或支持缺失等处。
最后区分部署新策略的总体平均价值与同一事实轨迹的另一世界:前者通常是干预层目标,后者需要跨世界机制。转移核只给边缘分布,不能唯一规定个体轨迹如何跨行动耦合。遗憾要先约定差值方向;博弈CFR则在信息集上比较替代行为的加权价值,并不是偷看对手底牌后优化。
核对资料:Thompson sampling原作者教程、可容许规则条件的研究论文、CFR原始论文。
进一步阅读:策略替换行动生成机制;策略随机化仍可依赖上下文;历史依赖策略需只用当时信息;马尔可夫状态须足以描述未来;转移核有因果语义条件;奖励可依状态行动及后继状态;部分可观测状态须维护信念;贝尔曼递推依受控环境核;折扣与终止条件保证目标明确;离线策略价值不必需要跨世界耦合;响应核不能唯一决定反事实轨迹;遗憾符号须先约定方向;博弈反事实遗憾按信息集定义;多步策略评估保留中间状态。
因果与大语言模型
LLM在本章首先充当因果工作流的语言助手:候选图、机制说明、变量框架、领域解释、公式与代码,都可缩短从问题到可讨论假设的距离。但生成候选不等于验证因果边,提出工具变量不等于满足排除限制,独立随机列加声明图也不会产生有效识别。必要性、单调性及责任判断尤其容易因语言相近而偷换语义。
接着从概率视角理解自回归模型。token是具体词表的单位,模型以此前上下文预测下一token;causal language model的causal描述遮罩方向,并不提供现实干预语义。多分类logits经softmax归一化,序列对数似然需错位匹配下一token并明确EOS、起始上下文与padding。原例同位置取分数、把对数和称联合概率等表达不采用。
注意力可组织高层语义,但权重或层级表征本身不能证明现实因果机制。答对PN符号定义与估计现实人群的PN同样要分开:前者是理论形式化,后者依赖事实分布与跨世界识别假设。本章的历史GPT-4问答仅作为原作者当时案例,不作为当前模型能力或最新产品用法。
进一步阅读:语言模型给出的是候选假设;工具候选须逐项论证有效性;生成代码先核对识别与数据;机制解释不能自动升格为约束;因果框架选择需显式记录;责任判断还包含规范标准;必要条件不保证充分条件;自然语言查询须固定事件编码;识别假设不能由流畅答案替代;词元边界不等于自然词边界;序列模型因果指自回归遮罩;多分类逻辑值不是二元对数比;自回归概率须错位对齐;对数概率相加仍是对数概率;注意力权重不等于因果边;答对术语不等于识别现实目标。
故事生成例把国王、王子、王国三段文本当随机变量,分别学习边缘与条件机制,再以图脚手架组合。额外王子到国王网络负责推断而非反向因果;观察王子需要更新国王分布,干预王子则保留原国王边缘,由此获得不同的模型内查询。
要让该想法成为有效概率程序,sample与log_prob必须描述同一分布。GPT评分须错位,BART评分须保留父文本,训练padding须正确屏蔽,top-p和温度下采样后的概率也要相应一致。直接token拼接还应与训练时父文本格式对应。原重要性重采样在样本去重后仍沿用原索引,存在错配风险;不能把原示例直接当可验证的后验推断实现。
最终词频图只是生成文本在选定TF-IDF投影下的差别。它可以帮助展示模型内观测与干预语义,但不能证明图为真、跨世界机制正确或语言模型自然学会了现实因果。图、机制学习、概率评分、提议校正和结果解释各需自己的依据。
实现核对来源:Transformers 4.38.2 GPT-2源码、同版本BART源码。
进一步阅读:因果脚手架分解文本机制;反向推断网络不是反向因果边;词表编号必须与嵌入语义对应;目标填充须从训练损失排除;声明验证集不等于执行验证;条件生成评分必须保留父输入;序列损失换算要数有效标签;采样分布与评分分布须一致;分布包装器要履行形状契约;文本拼接须保持训练格式;观测王子需要更新国王分布;提议网络要用权重校正偏差;重采样索引必须对齐样本池;重要性诊断检查权重退化;词频图只比较选定投影;模块化生成不证明学到真实因果;语言因果模块与推断模块分工。
原书依据 · 33 处
跨章综合
贯穿全书的第一条联系是“分布信息与机制信息”。观测拟合约束关联,干预机制约束行动结果,个体反事实还关心不同世界如何共享背景。把它们分开,可以解释为何预测好不保证行动正确,也为何潜参数不唯一却可能仍能识别某个平均目标。
第二条联系是“识别与计算的职责”。图算法推导可观测表达式,回归、倾向得分、DML、SVI或MCMC计算特定模型中的量;它们各自有条件。图已识别不保证任意小网络或近似推断无偏,训练损失平稳也不证明隐藏机制恢复。反驳与预测检查能发现某类失配,但通过测试不是证明全部假设。
第三条联系是“模块化与状态保持”。干预保留未修改机制,溯因保留同一外生背景,策略保留可用历史,条件语言评分保留父文本。遗漏应该保留的条件,往往会让一个程序计算成另一个问题;反之,错误保留原行动机制又会让干预退回观测。
本书适合作为把因果概念转成概率程序的路线图。使用时要同时保留原始数据与来源、变量定义、图与机制、库版本、识别依据和计算误差;不要把可读的图、流畅的解释或漂亮的生成样本当作现实因果真值。
发散与实践
本次筛选两项互补实践:概率评分实现深读,以原书同版本成熟源码检查概率核契约;识别假设证据台账,以本批已有读书卡训练查询与依据对齐。文件为idea-001-概率评分实现深读.md、idea-002-识别假设证据台账.md,可点击入口见概览。
源码深读已完成固定提交、三个入口及首轮机制映射,并给出90分钟快速计划和逐单元详细计划。台账计划规定有限输入、人群与假设记录及第二人复述验收。二者均为计划交付,未宣称模型运行、业务效果验证或现实干预。未采用医疗剂量、投资选择、完整多模型训练及付费服务实验;当前目标可先通过有限阅读与证据整理完成。