主题索引
数据分析、实验与因果
从数据里得出可行动的结论:用户行为与生命周期怎么建模、A/B 实验怎么设计才有效、观测数据下的因果推断能推到哪一步。
来源书籍
全书12章均包含概念/术语/原理类内容的实质性讲解(离散选择模型、生存分析、 LTV、可解释模型体系、矩阵分解、因果推断方法、A/B实验原理、实验设计方差控制、特殊场景 实验方法、SQLFlow工作原理、模型可解释性、深度学习聚类原理),按"概念类内容强制生卡" 规则全部标记精读。第10章虽含Docker环境配置等操作步骤,但10.1节"SQLFlow工作原理"有 实质性原理讲解,故整章仍标精读(操作步骤部分精读时不生卡)。
8/8
Skill 版本:v24
执行模式:light
建档进度:done
本轮结果:整书生成、导入对账与139张卡片归档完成;82条软链接均已解析。实践交付为2份计划与首轮源码材料,未执行完整实践。
整书阅读内容见整书笔记,完整证据与取舍见阅读覆盖。
出版信息:谢梁、缪莹莹、高梓尧、王子玲等著,机械工业出版社,版权页确认纸版2021年,ISBN9787111682547;版次和精确出版日期未确认。OPF日期为2021-05-31T16:00:00Z,不将时区换算冒作精确纸版出版日。
沿用经典原理(高浓度×高稳定性):选择、生存、实验和分解均有可迁移的机制及假设;工具版本和单次示例低稳定,按具体条件使用。默认概念解析,局部操作按用途保留;维持AI专项、数据库/存储P4,不因完成而改变内容评级。
| 章节号 | 章节标题 | 状态 | 卡片数 |
|---|---|---|---|
| 0 | 序言与部分导语 | done | 3 |
| 1 | 第1章 如何分析用户的选择 | done | 13 |
| 2 | 第2章 与时间相关的行为分析 | done | 14 |
| 3 | 第3章 洞察用户长期价值: 基于神经网络的LTV建模 | done | 13 |
| 4 | 第4章 使用体系化分析方法进行场景挖掘 | done | 8 |
| 5 | 第5章 行为规律的发现与挖掘 | done | 12 |
| 6 | 第6章 对观测到的事件进行因果推断 | done | 10 |
| 7 | 第7章 如何比较两个策略的效果 | done | 9 |
| 8 | 第8章 提高实验效能 | done | 7 |
| 9 | 第9章 特殊场景下的实验设计和分析方法 | done | 17 |
| 10 | 第10章 SQLFlow | done | 8 |
| 11 | 第11章 机器学习模型可解释性 | done | 15 |
| 12 | 第12章 基于LSTM-Autoencoder的无监督聚类模型 | done | 10 |
| spine | 标题 | 状态 | 卡片主要位置数 |
|---|---|---|---|
| 5 | 序一 | done | 1 |
| 6 | 序二 | done | 0 |
| 7 | 前言 | done | 1 |
| 8 | 第一部分 观测数据的分析技术 | done | 1 |
| 9 | 第1章 如何分析用户的选择 | done | 0 |
| 10 | 1.1 深入理解选择行为 | done | 2 |
| 11 | 1.2 DCM详述 | done | 6 |
| 12 | 1.3 DCM模型的Python实践 | done | 5 |
| 13 | 1.4 本章小结 | done | 0 |
| 14 | 第2章 与时间相关的行为分析 | done | 0 |
| 15 | 2.1 生存分析与二手车定价案例 | done | 2 |
| 16 | 2.2 生存分析的理论框架 | done | 11 |
| 17 | 2.3 生存分析在二手车定价案例中的应用 | done | 1 |
| 18 | 2.4 本章小结 | done | 0 |
| 19 | 第3章 洞察用户长期价值: 基于神经网络的LTV建模 | done | 0 |
| 20 | 3.1 用户长期价值的概念和商业应用 | done | 6 |
| 21 | 3.2 基于Keras的LTV模型实践 | done | 7 |
| 22 | 3.3 本章小结 | done | 0 |
| 23 | 第4章 使用体系化分析方法进行场景挖掘 | done | 0 |
| 24 | 4.1 经验化分析与体系化分析 | done | 2 |
| 25 | 4.2 体系化分析常用工具 | done | 6 |
| 26 | 4.3 场景挖掘分析的应用与实现 | done | 0 |
| 27 | 4.4 本章小结 | done | 0 |
| 28 | 第5章 行为规律的发现与挖掘 | done | 1 |
| 29 | 5.1 对有序数据的规律分析 | done | 4 |
| 30 | 5.2 SVD聚类建模Python实战 | done | 3 |
| 31 | 5.3 对无序稀疏数据的规律分析 | done | 4 |
| 32 | 5.4 本章小结 | done | 0 |
| 33 | 第6章 对观测到的事件进行因果推断 | done | 0 |
| 34 | 6.1 使用全量评估分析已发生的事件 | done | 1 |
| 35 | 6.2 全量评估的主要方法 | done | 8 |
| 36 | 6.3 全量评估方法的应用 | done | 1 |
| 37 | 6.4 本章小结 | done | 0 |
| 38 | 第二部分 实验设计和分析技术 | done | 0 |
| 39 | 第7章 如何比较两个策略的效果 | done | 0 |
| 40 | 7.1 正确推断因果关系 | done | 2 |
| 41 | 7.2 运用A/B实验进行策略比较 | done | 1 |
| 42 | 7.3 A/B实验应用步骤 | done | 6 |
| 43 | 7.4 A/B实验案例 | done | 0 |
| 44 | 7.5 本章小结 | done | 0 |
| 45 | 第8章 提高实验效能 | done | 2 |
| 46 | 8.2 用随机区组设计控制实验指标方差 | done | 2 |
| 47 | 8.3 随机区组实验应用步骤 | done | 2 |
| 48 | 8.4 随机区组实验案例介绍 | done | 0 |
| 49 | 8.5 随机区组实验的常见问题 | done | 1 |
| 50 | 8.6 本章小结 | done | 0 |
| 51 | 第9章 特殊场景下的实验设计和分析方法 | done | 0 |
| 52 | 9.1 解决分流实验对象之间的干扰 | done | 5 |
| 53 | 9.2 Switchback实验和评估方法 | done | 5 |
| 54 | 9.3 交叉实验 | done | 3 |
| 55 | 9.4 强约束条件下的实验方法 | done | 4 |
| 56 | 9.5 本章小结 | done | 0 |
| 57 | 第三部分 自助式数据科学平台SQLFlow | done | 0 |
| 58 | 第10章 SQLFlow | done | 1 |
| 59 | 10.2 设置SQLFlow运行环境 | done | 5 |
| 60 | 10.3 向SQLFlow提交分析模型 | done | 2 |
| 61 | 10.4 本章小结 | done | 0 |
| 62 | 第11章 机器学习模型可解释性 | done | 0 |
| 63 | 11.1 模型的可解释性 | done | 3 |
| 64 | 11.2 常见的可解释模型 | done | 7 |
| 65 | 11.3 黑盒模型的解释性 | done | 5 |
| 66 | 11.4 本章小结 | done | 0 |
| 67 | 第12章 基于LSTM-Autoencoder的无监督聚类模型 | done | 0 |
| 68 | 12.1 聚类分析的广泛应用 | done | 1 |
| 69 | 12.2 聚类模型的应用案例 | done | 4 |
| 70 | 12.3 SQLFlow中基于深度学习的聚类模型 | done | 5 |
| 71 | 12.4 本章小结 | done | 0 |
| spine项 | 类型 | 排除理由 |
|---|---|---|
| 1 cover_page.xhtml | 封面 | SVG封面已查看,无实质讲解 |
| 2 part0000.xhtml | 书名版权 | 出版元数据已提取,无方法讲解 |
| 3 part0001.xhtml | 纯目录 | 已核对章节范围和spine,不当阅读正文 |
| 4 part0002.xhtml | 作者简介 | 简介与17幅肖像已读/查看,个人履历不构成本书方法讲解 |
| 术语名 | 出现章节 | 一句话语境 |
|---|---|---|
| 行为经济学 | sp10 | 从家庭旅行的成本、时长与收入差异出发,建立理性选择、效用最大化与揭示性偏好的关系,再把选择映射为决策者、选项和属性组成的模型簇。 |
| Greenwood公式 | sp16 | 先界定起始/终点事件、时间、删失及风险集,再区分生存概率、瞬时风险、累积风险与中位时间。KM和参数模型估计曲线,对数秩比较组别;Cox以比例风险及部分似然调整协变量。 |
| Hierarchical Bayesian | sp20 | LTV以用户生命周期的货币贡献支持经营评价,阶段划分没有硬边界。观察窗口与运营策略改变价值口径;从简式、统计模型到网络的选择取决于假设与数据,而不是越复杂必然越准。 |
| 吉布斯采样 | sp20 | LTV以用户生命周期的货币贡献支持经营评价,阶段划分没有硬边界。观察窗口与运营策略改变价值口径;从简式、统计模型到网络的选择取决于假设与数据,而不是越复杂必然越准。 |
| 马尔可夫链蒙特卡洛 | sp20,sp35 | LTV以用户生命周期的货币贡献支持经营评价,阶段划分没有硬边界。观察窗口与运营策略改变价值口径;从简式、统计模型到网络的选择取决于假设与数据,而不是越复杂必然越准。 |
| LU分解 | sp28 | 第5章从经验规则的颗粒度和主观性引出矩阵分解与聚类:用低维特征描述样本的共同规律,但降维目标不必然保证业务可解释或自动去除全部噪声。 |
| QR分解 | sp28 | 第5章从经验规则的颗粒度和主观性引出矩阵分解与聚类:用低维特征描述样本的共同规律,但降维目标不必然保证业务可解释或自动去除全部噪声。 |
| PCA | sp31 | NMF以非负加权组合表达局部成分,允许增加稀疏约束;通过重构损失优化W/H并用非负乘法保持约束。案例把周购买量作TF-IDF后分解,数据零值与缺失的含义仍须区分。 |
| ICA | sp31 | NMF以非负加权组合表达局部成分,允许增加稀疏约束;通过重构损失优化W/H并用非负乘法保持约束。案例把周购买量作TF-IDF后分解,数据零值与缺失的含义仍须区分。 |
| VQ | sp31 | NMF以非负加权组合表达局部成分,允许增加稀疏约束;通过重构损失优化W/H并用非负乘法保持约束。案例把周购买量作TF-IDF后分解,数据零值与缺失的含义仍须区分。 |
| TF-IDF | sp31 | NMF以非负加权组合表达局部成分,允许增加稀疏约束;通过重构损失优化W/H并用非负乘法保持约束。案例把周购买量作TF-IDF后分解,数据零值与缺失的含义仍须区分。 |
| 稀疏NMF | sp31 | NMF以非负加权组合表达局部成分,允许增加稀疏约束;通过重构损失优化W/H并用非负乘法保持约束。案例把周购买量作TF-IDF后分解,数据零值与缺失的含义仍须区分。 |
| 岭回归 | sp35 | 多重共线性影响估计稳定与检验;DID用变化量差构造比较,合成控制从供体学习非负权重,CausalImpact再把趋势、季节与控制序列放进状态空间。 |
| Spike-and-slab Prior | sp35 | 多重共线性影响估计稳定与检验;DID用变化量差构造比较,合成控制从供体学习非负权重,CausalImpact再把趋势、季节与控制序列放进状态空间。 |
| 背景因子 | sp42 | 先写实验要素、核心指标和假设,再由目标效应、方差、α与功效估样本及周期,A/A和过程监控检查实现,不能见显著就停。样本单位、相对百分比和百分点需明确。 |
| 偏执因子 | sp42 | 先写实验要素、核心指标和假设,再由目标效应、方差、α与功效估样本及周期,A/A和过程监控检查实现,不能见显著就停。样本单位、相对百分比和百分点需明确。 |
| 混淆因子 | sp42 | 先写实验要素、核心指标和假设,再由目标效应、方差、α与功效估样本及周期,A/A和过程监控检查实现,不能见显著就停。样本单位、相对百分比和百分点需明确。 |
| PDP | sp65 | 全局代理近似模型总体行为,LIME用局部扰动和距离权重解释单次输出;Shapley平均边际贡献,SHAP将预测差分解为贡献相加。案例以SQLFlow训练XGBoost并解 |
| ICE | sp65 | 全局代理近似模型总体行为,LIME用局部扰动和距离权重解释单次输出;Shapley平均边际贡献,SHAP将预测差分解为贡献相加。案例以SQLFlow训练XGBoost并解 |
| Ward连接 | sp69 | 采购数据先看分布和相关再选相似度尺度,层次聚类与树状图帮助分群,回原品类统计解释各类特点。文中说MinMax但代码未展示,不能冒称归一化已执行。 |
| t-SNE | sp70 | 自编码器用重建学习低维表征,K均值初始化中心后接Student-t软分配层,用频次修正的锐化目标及KL损失训练;潜在特征本身不是簇标签。 |
| 标题 | 类型(书/论文/框架/源码项目) | 出现章节 | 一句话语境 |
|---|---|---|---|
| Deep Speech 2 | 框架/源码项目 | sp6 | 序二从行业分析师使用AI的困难切入,解释SQL抽象层与SQLFlow的起源;目标是帮助有行业知识的人使用模型,并非替代商业理解。 |
| Paddle | 框架/源码项目 | sp6 | 序二从行业分析师使用AI的困难切入,解释SQL抽象层与SQLFlow的起源;目标是帮助有行业知识的人使用模型,并非替代商业理解。 |
| Data_Science_Industrial_Practice | 框架/源码项目 | sp7 | 前言定义本书的目标:把开放商业问题映射为合适的量化框架,连接原理、代码与解读;三部分分别处理观测、实验和工程工具,并给出勘误仓库。 |
| statsmodels | 框架/源码项目 | sp12 | 从statsmodels与pylogit的入口讲起,解释一次选择一行的宽表与每选项一行的长表;转换须有观测ID、选项ID、选择标识和可用性,再进入数值化与缺失处理。 |
| pylogit | 框架/源码项目 | sp12 | 从statsmodels与pylogit的入口讲起,解释一次选择一行的宽表与每选项一行的长表;转换须有观测ID、选项ID、选择标识和可用性,再进入数值化与缺失处理。 |
| Anaconda | 框架/源码项目 | sp12 | 从statsmodels与pylogit的入口讲起,解释一次选择一行的宽表与每选项一行的长表;转换须有观测ID、选项ID、选择标识和可用性,再进入数值化与缺失处理。 |
| 微观经济学建模及离散选择分析 | 书 | sp12 | 从statsmodels与pylogit的入口讲起,解释一次选择一行的宽表与每选项一行的长表;转换须有观测ID、选项ID、选择标识和可用性,再进入数值化与缺失处理。 |
| lifelines | 框架/源码项目 | sp17 | 生存分析表同时记录时长、终点标识与协变量;案例先绘制和比较分组曲线,再用Cox拟合条件关联并预测个体曲线,中位数仅是其摘要。 |
| scikit-survival | 框架/源码项目 | sp17 | 生存分析表同时记录时长、终点标识与协变量;案例先绘制和比较分组曲线,再用Cox拟合条件关联并预测个体曲线,中位数仅是其摘要。 |
| Online Retail | 框架/源码项目 | sp21,sp30 | 零售数据先清理退货与缺ID、限定国家、整理首次交易与日内时间,再定义前28天特征及180天累计付费标签。将28天分为4周,每周交易序列截断填充以形成固定张量。 |
| XGBoost | 框架/源码项目 | sp26 | 共享单车数据先按年份、温度和天气探索,再用XGBoost预测并拟合场景树;类别编码与变量含义必须清楚,cnt的组成项不得作为自变量泄漏目标。 |
| Bike Sharing Dataset | 框架/源码项目 | sp26 | 共享单车数据先按年份、温度和天气探索,再用XGBoost预测并拟合场景树;类别编码与变量含义必须清楚,cnt的组成项不得作为自变量泄漏目标。 |
| Seaborn | 框架/源码项目 | sp31 | NMF以非负加权组合表达局部成分,允许增加稀疏约束;通过重构损失优化W/H并用非负乘法保持约束。案例把周购买量作TF-IDF后分解,数据零值与缺失的含义仍须区分。 |
| scikit-learn | 框架/源码项目 | sp31 | NMF以非负加权组合表达局部成分,允许增加稀疏约束;通过重构损失优化W/H并用非负乘法保持约束。案例把周购买量作TF-IDF后分解,数据零值与缺失的含义仍须区分。 |
| Daily Demand Forecasting Orders | 框架/源码项目 | sp36 | 物流订单案例人为给后30天加处理标记及50单位扰动,用回归分离协变量差异与已设定提升;模型检查和系数解读是示范,不代表真实部署证明。 |
| Synth | 框架/源码项目 | sp36 | 巴斯克案例分别演示单对照DID和Synth合成对照,权重和供体选择有不同假设;安慰剂对比支持异常差距判断。随后空气数据也人工添加变化来示范反事实。 |
| SCtools | 框架/源码项目 | sp36 | 巴斯克案例分别演示单对照DID和Synth合成对照,权重和供体选择有不同假设;安慰剂对比支持异常差距判断。随后空气数据也人工添加变化来示范反事实。 |
| The Economic Costs of Conflict | 论文 | sp36 | 巴斯克案例分别演示单对照DID和Synth合成对照,权重和供体选择有不同假设;安慰剂对比支持异常差距判断。随后空气数据也人工添加变化来示范反事实。 |
| bsts | 框架/源码项目 | sp36 | 空气观测透视成序列,区分目标与控制序列,定义前后期;自建bsts可选择状态和协变量,示例把后期响应设缺失以避免拟合处理结果。变量数和先验是模型配置,不能机械理解为恰好选中 |
| CausalImpact | 框架/源码项目 | sp36 | 空气观测透视成序列,区分目标与控制序列,定义前后期;自建bsts可选择状态和协变量,示例把后期响应设缺失以避免拟合处理结果。变量数和先验是模型配置,不能机械理解为恰好选中 |
| Beijing Multi-Site Air-Quality | 框架/源码项目 | sp36 | 空气观测透视成序列,区分目标与控制序列,定义前后期;自建bsts可选择状态和协变量,示例把后期响应设缺失以避免拟合处理结果。变量数和先验是模型配置,不能机械理解为恰好选中 |
| Overlapping Experiment Infrastructure | 论文 | sp38 | 第二部分导语用互联网实验示例说明在线策略也可以预先设计比较,从事后解释转向受控验证;不把具名实验的存在视为伦理正当性证据。 |
| Experimental Evidence of Massive-Scale Emotional Contagion | 论文 | sp38 | 第二部分导语用互联网实验示例说明在线策略也可以预先设计比较,从事后解释转向受控验证;不把具名实验的存在视为伦理正当性证据。 |
| Designing Experiments to Measure Spillover Effects | 论文 | sp52 | 小结再次强调独立且均衡簇是难点,并列出饱和度实验的文献来源。 |
| NetworkX | 框架/源码项目 | sp53 | Switchback按时空片安排策略,利用跨片率衡量隔离;图上的谱聚类帮助减少跨区匹配。评估加入时空协变量,模拟可检出能力须按真正检验规则计算,不能仅统计正系数。 |
| Chicago Taxi Trips | 框架/源码项目 | sp53 | Switchback按时空片安排策略,利用跨片率衡量隔离;图上的谱聚类帮助减少跨区匹配。评估加入时空协变量,模拟可检出能力须按真正检验规则计算,不能仅统计正系数。 |
| Design of Experiments | 书 | sp54 | 交叉实验让同一单元接受多个策略,区分序列、周期、残留与消除期。设计矩阵的均匀与前后配对平衡是不同性质,拉丁方不自动满足所有残留平衡;评估也要处理重复测量。 |
| The Effects of Attentional Shift Training on the Execution of Soccer Skills | 论文 | sp55 | 不能持续分流又不能撤回处理时,可把少量对象的处理起点随机错开,重复测量构造多基线。效能受对象数、重复次数和时间池影响,随机化检验须保留设计约束。 |
| Iris | 框架/源码项目 | sp58 | SQLFlow把查询交给数据引擎,把训练说明转成模型程序;Iris例子明确特征、标签与存储。不同引擎/框架的开放连接是工具定位,而非普遍免编程承诺。 |
| SQLFlow models | 框架/源码项目 | sp58 | SQLFlow把查询交给数据引擎,把训练说明转成模型程序;Iris例子明确特征、标签与存储。不同引擎/框架的开放连接是工具定位,而非普遍免编程承诺。 |
| BigQuery ML | 框架/源码项目 | sp58 | SQLFlow把查询交给数据引擎,把训练说明转成模型程序;Iris例子明确特征、标签与存储。不同引擎/框架的开放连接是工具定位,而非普遍免编程承诺。 |
| Teradata SQL for DL | 框架/源码项目 | sp58 | SQLFlow把查询交给数据引擎,把训练说明转成模型程序;Iris例子明确特征、标签与存储。不同引擎/框架的开放连接是工具定位,而非普遍免编程承诺。 |
| SQL Server AI | 框架/源码项目 | sp58 | SQLFlow把查询交给数据引擎,把训练说明转成模型程序;Iris例子明确特征、标签与存储。不同引擎/框架的开放连接是工具定位,而非普遍免编程承诺。 |
| Go | 框架/源码项目 | sp59 | 自建环境还需Go代码生成、Java解析器、Python提交器、预制模型和数据引擎,客户端指定服务端地址。Notebook适于研究,REPL适于简洁调用和调试。 |
| Maven | 框架/源码项目 | sp59 | 自建环境还需Go代码生成、Java解析器、Python提交器、预制模型和数据引擎,客户端指定服务端地址。Notebook适于研究,REPL适于简洁调用和调试。 |
| Jupyter | 框架/源码项目 | sp59 | 自建环境还需Go代码生成、Java解析器、Python提交器、预制模型和数据引擎,客户端指定服务端地址。Notebook适于研究,REPL适于简洁调用和调试。 |
| Protocol Buffers | 框架/源码项目 | sp59 | 自建环境还需Go代码生成、Java解析器、Python提交器、预制模型和数据引擎,客户端指定服务端地址。Notebook适于研究,REPL适于简洁调用和调试。 |
| Conda | 框架/源码项目 | sp59 | 自建环境还需Go代码生成、Java解析器、Python提交器、预制模型和数据引擎,客户端指定服务端地址。Notebook适于研究,REPL适于简洁调用和调试。 |
| Travis CI | 框架/源码项目 | sp60 | 自定义模型按特征列及超参数契约接入,导出入口后分别做单元与端到端验证,再贡献审查。特征列封装输入转换,但缺失参数仍会终止训练。 |
| Kubernetes | 框架/源码项目 | sp61 | 小结提供部署和设计文档的延伸入口,未实质展开集群部署流程。 |
| CloudSQL | 框架/源码项目 | sp61 | 小结提供部署和设计文档的延伸入口,未实质展开集群部署流程。 |
| Kubernetes Engine | 框架/源码项目 | sp61 | 小结提供部署和设计文档的延伸入口,未实质展开集群部署流程。 |
| SQLFlow Design | 框架/源码项目 | sp61 | 小结提供部署和设计文档的延伸入口,未实质展开集群部署流程。 |
| Boston Housing | 框架/源码项目 | sp64 | 线性组合可直接解释系数,但假设是条件模型与误差的约束,不要求边际目标必正态;截距不是残差。逻辑回归经sigmoid给出概率,系数应解释为对数几率与几率比。 |
| Titanic | 框架/源码项目 | sp64 | 线性组合可直接解释系数,但假设是条件模型与误差的约束,不要求边际目标必正态;截距不是残差。逻辑回归经sigmoid给出概率,系数应解释为对数几率与几率比。 |
| GLMM | 框架/源码项目 | sp64 | 线性组合可直接解释系数,但假设是条件模型与误差的约束,不要求边际目标必正态;截距不是残差。逻辑回归经sigmoid给出概率,系数应解释为对数几率与几率比。 |
| TreeExplainer | 框架/源码项目 | sp65 | 全局代理近似模型总体行为,LIME用局部扰动和距离权重解释单次输出;Shapley平均边际贡献,SHAP将预测差分解为贡献相加。案例以SQLFlow训练XGBoost并解 |
| SHAP | 框架/源码项目 | sp65 | 全局代理近似模型总体行为,LIME用局部扰动和距离权重解释单次输出;Shapley平均边际贡献,SHAP将预测差分解为贡献相加。案例以SQLFlow训练XGBoost并解 |
| LIME | 框架/源码项目 | sp65 | 全局代理近似模型总体行为,LIME用局部扰动和距离权重解释单次输出;Shapley平均边际贡献,SHAP将预测差分解为贡献相加。案例以SQLFlow训练XGBoost并解 |
| Car Price Prediction | 框架/源码项目 | sp65 | 全局代理近似模型总体行为,LIME用局部扰动和距离权重解释单次输出;Shapley平均边际贡献,SHAP将预测差分解为贡献相加。案例以SQLFlow训练XGBoost并解 |
| Uber Pickups in New York City | 框架/源码项目 | sp69 | K均值反复分配与更新,选址可用中心提出候选而非证明路网最优;层次聚类从单点逐次合并,连接度量决定树结构,最后仍须选树的切分高度。 |
| Folium | 框架/源码项目 | sp69 | K均值反复分配与更新,选址可用中心提出候选而非证明路网最优;层次聚类从单点逐次合并,连接度量决定树结构,最后仍须选树的切分高度。 |
| Wholesale Customers | 框架/源码项目 | sp69 | 采购数据先看分布和相关再选相似度尺度,层次聚类与树状图帮助分群,回原品类统计解释各类特点。文中说MinMax但代码未展示,不能冒称归一化已执行。 |
| MNIST | 框架/源码项目 | sp70 | 自编码器用重建学习低维表征,K均值初始化中心后接Student-t软分配层,用频次修正的锐化目标及KL损失训练;潜在特征本身不是簇标签。 |
| DeepEmbeddingClusterModel | 框架/源码项目 | sp70 | 训练周期性重算目标,以标签变化率决定停止,再用道路24小时车速做六组模式探索。代码核心是Dense编码和Student-t聚类,未展示标题暗示的LSTM;训练数据上作分群 |
| traffic_speed数据 | 框架/源码项目 | sp70 | 训练周期性重算目标,以标签变化率决定停止,再用道路24小时车速做六组模式探索。代码核心是Dense编码和Student-t聚类,未展示标题暗示的LSTM;训练数据上作分群 |
| 问题标题 | 问题卡 | 解决方案卡(如有) | 出现章节 | 一句话说明 |
|---|
无具体并发扣款、库存或清结算正确性事故,未制造配对案例。
| 序号 | 实践标题 | 实践方式 | 状态 | 关联章节 | 产出 |
|---|---|---|---|---|---|
| 1 | 从成熟实现理解实验功效 | 实现深读 | done | 第7~9章 | idea-001-模拟真实AB实验验证样本方差如何淹没真实效果.md;固定提交、已读入口和两层计划 |
| 2 | 核对SHAP加和的输出尺度 | 实现深读 | done | 第7~9章、11章 | idea-002-用SHAP解释一个真实训练模型验证局部可加分解.md;固定提交、已读入口和两层计划 |
实践候选筛选:done
保留并升级原2项;未采用真实业务上线、完整复写SQLFlow与实际定价干预:缺真实授权/业务输入,且成熟实现已能提供阅读入口。本轮只交付计划及首轮源码映射,未执行1000次模拟、模型训练或完整源码通读。
轻量模式:未执行复核、审查及审查结果优化。历史审查和主题记录仅作历史,不用作本轮审查结论;已知来源与准确性问题在生成时处理。139卡(原93、新46),每卡一个实质primary及真实来源;336资源检查,92单元阅读,67正文项已讲解。schema1及SHA256见工作流证据。
_card_review.md 第 2 轮复核:34 张卡标题压缩至 15 字内(已归档卡保留原文件名)、断链修复、摘录逐字复核并更正源文件、实践卡标题压缩;另补主题索引维护),详见 _workflow.md。结论:经典原理(高信息浓度 × 高稳定性)
理由:
对照 category-checklists.md 现有类别,均未精确命中:
建议新增类别:统计建模与因果推断类
判定标准草案:以讲解特定统计/计量经济学方法(如离散选择模型、生存分析、因果推断方法、 A/B实验与实验设计)在商业场景下的原理、假设与应用为主要目标的书籍;不同于泛泛描述数据 分析工作流程的书(走”数据分析方法论类”),也不同于广谱概览数据科学生态的书(走”数据科学 导论类”)。
必答清单草案: 1. 方法适用场景与前提假设:什么业务问题触发选择该方法,方法背后的假设是什么 2. 从业务问题到统计模型的映射方式:如何把开放商业问题转化为可估计的模型 3. 因果推断逻辑:如何排除混杂、区分相关与因果 4. 实验设计原则:随机化、分层/区组、方差控制等设计手段 5. 效应量估计与显著性判断:如何评估效果大小与统计显著性 6. 方法失效场景与应对:假设不满足时(如无法随机分流、强约束条件)如何调整方法 7. 结果解释与业务落地:模型/实验结果如何转化为业务决策 8. 同类方法的对比与选型:同一问题下多种方法的优劣取舍
用户已确认新增该类别,已追加至 category-checklists.md,阶段四将按此清单执行核对。
| 章节号 | 章节标题 | 精读/略读 | 状态 | 卡片数 |
|---|---|---|---|---|
| 1 | 第1章 如何分析用户的选择 | 精读 | done | 8 |
| 2 | 第2章 与时间相关的行为分析 | 精读 | done | 9 |
| 3 | 第3章 洞察用户长期价值:基于神经网络的LTV建模 | 精读 | done | 8 |
| 4 | 第4章 使用体系化分析方法进行场景挖掘 | 精读 | done | 6 |
| 5 | 第5章 行为规律的发现与挖掘 | 精读 | done | 7 |
| 6 | 第6章 对观测到的事件进行因果推断 | 精读 | done | 5 |
| 7 | 第7章 如何比较两个策略的效果 | 精读 | done | 8 |
| 8 | 第8章 提高实验效能 | 精读 | done | 6 |
| 9 | 第9章 特殊场景下的实验设计和分析方法 | 精读 | done | 14 |
| 10 | 第10章 SQLFlow | 精读 | done | 2 |
| 11 | 第11章 机器学习模型可解释性 | 精读 | done | 12 |
| 12 | 第12章 基于LSTM-Autoencoder的无监督聚类模型 | 精读 | done | 8 |
理由:全书12章均包含概念/术语/原理类内容的实质性讲解(离散选择模型、生存分析、 LTV、可解释模型体系、矩阵分解、因果推断方法、A/B实验原理、实验设计方差控制、特殊场景 实验方法、SQLFlow工作原理、模型可解释性、深度学习聚类原理),按”概念类内容强制生卡” 规则全部标记精读。第10章虽含Docker环境配置等操作步骤,但10.1节”SQLFlow工作原理”有 实质性原理讲解,故整章仍标精读(操作步骤部分精读时不生卡)。
| 术语名 | 出现章节 | 一句话语境 |
|---|
| 序号 | 实践标题 | 实践方式 | 状态 | 关联章节 | 产出 |
|---|---|---|---|---|---|
| 1 | 模拟AB实验看方差淹没效果 | 实现深读 | done | AB实验相关章节 | 三场景1000次模拟统计结果 |
| 2 | 用SHAP验证局部可加分解 | 实现深读 | done | 可解释性相关章节 | SHAP值核对记录与排序合理性判断 |
| 维度 | 覆盖状态 | 关联卡片标题或未覆盖理由 |
|---|---|---|
| 方法适用场景与前提假设 | 已覆盖 | 生存分析解决截面回归的盲点、删失与右删失、DID的平行趋势假设、线性回归的五个假设条件 |
| 从业务问题到统计模型的映射方式 | 已覆盖 | DCM的模型簇结构、全量评估的核心困境、场景挖掘框架的三段式组合 |
| 因果推断逻辑 | 已覆盖 | 相关性不等于因果性、潜在结果框架与AB实验的必要性、合成控制法构造反事实、CausalImpact反事实、单因素生存曲线对比需警惕混杂 |
| 实验设计原则(随机化/分层区组/方差控制) | 已覆盖 | A/B实验的三大特性、随机区组实验:先分层再分组、随机饱和度实验的两层随机化、Switchback时空切片、交叉实验自身作对照、多基线实验的前后对比 |
| 效应量估计与显著性判断 | 已覆盖 | A/B实验样本量的四要素、多元回归中调整R方的必要性、R方升高不等于策略有效果、打乱切换时间的随机检验 |
| 方法失效场景与应对 | 已覆盖 | IIA假设与红蓝巴士悖论、网络效应破坏独立性假设、不能分流也不能轮转的场景、区组数量不是越多越好 |
| 结果解释与业务落地 | 已覆盖 | 逻辑回归系数的几率解读、Cox系数的危险保护解读、SHAP的线性可加分解、决策树的解释形式是”与”条件链 |
| 同类方法的对比与选型 | 已覆盖 | LTV计算方法的五级演进、黑盒模型与白盒模型的取舍、参数法与非参数法的生存函数估计、K均值聚类需要预先指定K值、层次聚类不需要预先指定簇数 |
核对结论:8/8 维度均已覆盖,均在阶段三精读过程中自然生成对应卡片,无需为凑清单额外补充生卡。
| 标题 | 类型(书/论文/框架/源码项目) | 出现章节 | 一句话语境 |
|---|---|---|---|
| BigQuery ML | 框架 | 第10章 | Google 2018年发布的用SQL驱动机器学习的产品,与SQLFlow类似定位但封闭在自家生态内 |
| TeraData SQL for DL | 框架 | 第10章 | TeraData推出的用SQL驱动深度学习的方案,同类定位产品 |
| 微软SQL Server AI扩展 | 框架 | 第10章 | 微软基于SQL Server推出的AI能力扩展,同类定位产品 |
本书覆盖用户行为建模、观测因果推断、A/B 实验、模型可解释性与无监督聚类;已有主题中无统计建模类主题,新建 5 个主题,SQLFlow 两卡并入大数据计算范式。
| 卡片标题 | 结论 | 主题文件或原因 |
|---|---|---|
| 效用最大化与揭示性偏好 | 已创建 | notes/_topics/user-behavior-modeling.md |
| DCM的模型簇结构 | 已创建 | notes/_topics/user-behavior-modeling.md |
| Logit与Probit的分野 | 已创建 | notes/_topics/user-behavior-modeling.md |
| IIA假设与红蓝巴士悖论 | 已创建 | notes/_topics/user-behavior-modeling.md |
| 备选项特定常数ASC | 已创建 | notes/_topics/user-behavior-modeling.md |
| 选择数据的长格式与宽格式 | 已创建 | notes/_topics/user-behavior-modeling.md |
| 逻辑回归系数的几率解读 | 已创建 | notes/_topics/user-behavior-modeling.md |
| 共线性检验的VIF阈值 | 已创建 | notes/_topics/user-behavior-modeling.md |
| 生存分析解决截面回归的盲点 | 已创建 | notes/_topics/user-behavior-modeling.md |
| 删失与右删失 | 已创建 | notes/_topics/user-behavior-modeling.md |
| 生存函数与风险函数 | 已创建 | notes/_topics/user-behavior-modeling.md |
| 半衰期作为生存指标 | 已创建 | notes/_topics/user-behavior-modeling.md |
| KM曲线的非参数估计与局限 | 已创建 | notes/_topics/user-behavior-modeling.md |
| Cox比例风险模型的半参数结构 | 已创建 | notes/_topics/user-behavior-modeling.md |
| Cox系数的危险保护解读 | 已创建 | notes/_topics/user-behavior-modeling.md |
| 参数法与非参数法的生存函数估计 | 已创建 | notes/_topics/user-behavior-modeling.md |
| 单因素生存曲线对比需警惕混杂 | 已创建 | notes/_topics/user-behavior-modeling.md |
| LTV的定义与用户行为估值法 | 已创建 | notes/_topics/user-behavior-modeling.md |
| 用户生命周期的五个阶段 | 已创建 | notes/_topics/user-behavior-modeling.md |
| LTV观察窗口的折衷 | 已创建 | notes/_topics/user-behavior-modeling.md |
| LTV计算方法的五级演进 | 已创建 | notes/_topics/user-behavior-modeling.md |
| BG/NBD统计模型的分布假设 | 已创建 | notes/_topics/user-behavior-modeling.md |
| LTV的CNN-LSTM嵌套 | 已创建 | notes/_topics/user-behavior-modeling.md |
| 长尾目标变量的对数变换 | 已创建 | notes/_topics/user-behavior-modeling.md |
| 变长行为序列的截断与填充 | 已创建 | notes/_topics/user-behavior-modeling.md |
| 经验化分析的维度诅咒 | 已创建 | notes/_topics/model-interpretability.md |
| 体系化分析先预测后解释的两步法 | 已创建 | notes/_topics/model-interpretability.md |
| 黑盒模型与白盒模型的取舍 | 已创建 | notes/_topics/model-interpretability.md |
| 决策树不纯度指标的选择逻辑 | 已创建 | notes/_topics/model-interpretability.md |
| 全局代理模型的解释逻辑 | 已创建 | notes/_topics/model-interpretability.md |
| 场景挖掘框架的三段式组合 | 已创建 | notes/_topics/model-interpretability.md |
| 矩阵分解作为体系化规律挖掘手段 | 已创建 | notes/_topics/matrix-factorization-clustering.md |
| 特征值分解的几何意义 | 已创建 | notes/_topics/matrix-factorization-clustering.md |
| SVD推广到非方阵 | 已创建 | notes/_topics/matrix-factorization-clustering.md |
| 保留top-k奇异值降维 | 已创建 | notes/_topics/matrix-factorization-clustering.md |
| SVD降维加K均值聚类 | 已创建 | notes/_topics/matrix-factorization-clustering.md |
| NMF非负带来可解释性 | 已创建 | notes/_topics/matrix-factorization-clustering.md |
| NMF的稀疏性优势 | 已创建 | notes/_topics/matrix-factorization-clustering.md |
| 全量评估的核心困境 | 已创建 | notes/_topics/causal-inference-observational.md |
| 多元回归中调整R方的必要性 | 已创建 | notes/_topics/causal-inference-observational.md |
| DID的平行趋势假设 | 已创建 | notes/_topics/causal-inference-observational.md |
| 合成控制法构造反事实 | 已创建 | notes/_topics/causal-inference-observational.md |
| CausalImpact反事实 | 已创建 | notes/_topics/causal-inference-observational.md |
| 相关性不等于因果性 | 已创建 | notes/_topics/causal-inference-observational.md |
| 潜在结果框架与AB实验的必要性 | 已创建 | notes/_topics/causal-inference-observational.md |
| A/B实验的三大特性 | 已创建 | notes/_topics/ab-experiment-design.md |
| A/B实验的假设检验与证伪逻辑 | 已创建 | notes/_topics/ab-experiment-design.md |
| 最小预期提升的业务门槛 | 已创建 | notes/_topics/ab-experiment-design.md |
| A/B实验样本量的四要素 | 已创建 | notes/_topics/ab-experiment-design.md |
| A/A实验校准分组本身的噪声 | 已创建 | notes/_topics/ab-experiment-design.md |
| 实验不能看到显著就立即喊停 | 已创建 | notes/_topics/ab-experiment-design.md |
| 样本方差如何淹没真实效果 | 已创建 | notes/_topics/ab-experiment-design.md |
| 随机区组实验:先分层再分组 | 已创建 | notes/_topics/ab-experiment-design.md |
| 随机区组实验拆解出的三部分方差 | 已创建 | notes/_topics/ab-experiment-design.md |
| 区组特征的选择标准 | 已创建 | notes/_topics/ab-experiment-design.md |
| 区组数量不是越多越好 | 已创建 | notes/_topics/ab-experiment-design.md |
| R方升高不等于策略有效果 | 已创建 | notes/_topics/ab-experiment-design.md |
| 网络效应破坏独立性假设 | 已创建 | notes/_topics/ab-experiment-design.md |
| 随机饱和度实验的两层随机化 | 已创建 | notes/_topics/ab-experiment-design.md |
| 饱和度为0和1的簇提供无偏对照 | 已创建 | notes/_topics/ab-experiment-design.md |
| 分簇兼顾独立与均匀 | 已创建 | notes/_topics/ab-experiment-design.md |
| 双边市场不能按用户分流 | 已创建 | notes/_topics/ab-experiment-design.md |
| Switchback时空切片 | 已创建 | notes/_topics/ab-experiment-design.md |
| 跨片率衡量时空切片划分的好坏 | 已创建 | notes/_topics/ab-experiment-design.md |
| 交叉实验自身作对照 | 已创建 | notes/_topics/ab-experiment-design.md |
| 交叉实验的延滞效应与消除期 | 已创建 | notes/_topics/ab-experiment-design.md |
| 交叉设计矩阵的平衡性 | 已创建 | notes/_topics/ab-experiment-design.md |
| 不能分流也不能轮转的场景 | 已创建 | notes/_topics/ab-experiment-design.md |
| 多基线实验的前后对比 | 已创建 | notes/_topics/ab-experiment-design.md |
| 打乱切换时间的随机检验 | 已创建 | notes/_topics/ab-experiment-design.md |
| 协变量剥离方差提灵敏度 | 已创建 | notes/_topics/ab-experiment-design.md |
| SQLFlow封装机器学习流程 | 已复用 | (已移出主题体系) |
| 特征列封装特征工程 | 已复用 | (已移出主题体系) |
| 两类从业者对模型的期待 | 已创建 | notes/_topics/model-interpretability.md |
| 可解释模型的纠错双重作用 | 已创建 | notes/_topics/model-interpretability.md |
| 可解释模型的三个特征 | 已创建 | notes/_topics/model-interpretability.md |
| 线性回归的五个假设条件 | 已创建 | notes/_topics/model-interpretability.md |
| 决策树的解释形式是”与”条件链 | 已创建 | notes/_topics/model-interpretability.md |
| KNN是懒惰学习只能做局部解释 | 已创建 | notes/_topics/model-interpretability.md |
| KNN的k值与拟合走向 | 已创建 | notes/_topics/model-interpretability.md |
| 朴素贝叶斯是生成模型 | 已创建 | notes/_topics/model-interpretability.md |
| 全局代理模型只能解释模型本身 | 已创建 | notes/_topics/model-interpretability.md |
| LIME用局部采样解释单个预测 | 已创建 | notes/_topics/model-interpretability.md |
| Shapley值的公平分配 | 已创建 | notes/_topics/model-interpretability.md |
| SHAP的线性可加分解 | 已创建 | notes/_topics/model-interpretability.md |
| 聚类本质是相似度选择 | 已创建 | notes/_topics/matrix-factorization-clustering.md |
| K均值聚类需要预先指定K值 | 已创建 | notes/_topics/matrix-factorization-clustering.md |
| 层次聚类不需要预先指定簇数 | 已创建 | notes/_topics/matrix-factorization-clustering.md |
| 判定簇间距离的单连接与全连接 | 已创建 | notes/_topics/matrix-factorization-clustering.md |
| 自编码器的压缩与重建 | 已创建 | notes/_topics/matrix-factorization-clustering.md |
| 深度聚类的同步优化 | 已创建 | notes/_topics/matrix-factorization-clustering.md |
| 辅助目标分布强化聚类置信度 | 已创建 | notes/_topics/matrix-factorization-clustering.md |
| 无监督聚类替代人工经验分类 | 已创建 | notes/_topics/matrix-factorization-clustering.md |
从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。
主题索引
从数据里得出可行动的结论:用户行为与生命周期怎么建模、A/B 实验怎么设计才有效、观测数据下的因果推断能推到哪一步。
主题索引
分类、聚类、关联规则、主题模型、集成方法与矩阵分解各自的适用边界,以及推荐、征信、CTR 等业务场景里多模型怎样组合、为什么要看查准查全而不是只看准确率。
主题索引
比较白盒模型、全局代理、LIME 与 SHAP 等解释方法的适用范围与局限,以及先预测后解释的分析框架。