来源书籍

大数据挖掘与统计机器学习

Skill 版本:v24 200 张卡片

吕晓玲、宋捷 · 中国人民大学出版社 · 2016-07 · ISBN 9787300231013

章节与卡片

00

4 张卡片
  1. 统计学是方法论科学 理解等级:初级 普通读书笔记卡
  2. 大数据重塑统计人才能力 理解等级:中级 普通读书笔记卡
  3. 数据科学因大数据而生 理解等级:初级 普通读书笔记卡
  4. 方法与代码案例并重 理解等级:初级 操作参考卡

01

14 张卡片
  1. 数据挖掘与统计同源异流 理解等级:中级 普通读书笔记卡
  2. 同一件事的一串名字 理解等级:初级 普通读书笔记卡
  3. 大数据:定义与四个维度 理解等级:中级 普通读书笔记卡
  4. 数据科学是三块知识的交集 理解等级:中级 普通读书笔记卡
  5. 科学方法:模型靠数据更新 理解等级:高级 结构图卡
  6. 统计归纳与数学演绎相反 理解等级:中级 普通读书笔记卡
  7. 模型驱动的合理性与代价 理解等级:高级 普通读书笔记卡
  8. 让问题和数据驱动研究 理解等级:中级 普通读书笔记卡
  9. 按有无目标变量划分学习方式 理解等级:中级 结构图卡
  10. 本书的难度定位与章节路线 理解等级:中级 结构图卡
  11. 数据智慧是判断力而非算法 理解等级:高级 普通读书笔记卡
  12. 数据分析十问的闭环 理解等级:中级 结构图卡
  13. 分割数据以防过拟合 理解等级:高级 问题卡
  14. 稳定性检验筛掉假发现 理解等级:高级 普通读书笔记卡

02

26 张卡片
  1. 多元线性回归的矩阵写法 理解等级:初级 普通读书笔记卡
  2. 最小二乘与正规方程 理解等级:中级 普通读书笔记卡
  3. 高斯-马尔可夫定理 理解等级:高级 普通读书笔记卡
  4. 离差平方和分解与F检验 理解等级:中级 普通读书笔记卡
  5. 单个系数的t检验 理解等级:中级 普通读书笔记卡
  6. 调整R²挡住变量堆砌 理解等级:初级 普通读书笔记卡
  7. 残差图诊断模型假定 理解等级:中级 普通读书笔记卡
  8. DW统计量查一阶自相关 理解等级:中级 普通读书笔记卡
  9. 多重共线性的识别 理解等级:高级 普通读书笔记卡
  10. 逐步回归的有进有出 理解等级:中级 结构图卡
  11. 岭回归用偏差换方差 理解等级:高级 普通读书笔记卡
  12. 岭迹暴露共线性 理解等级:高级 普通读书笔记卡
  13. Lasso的L1惩罚自动选变量 理解等级:中级 普通读书笔记卡
  14. 几何图看懂岭回归与Lasso 理解等级:高级 普通读书笔记卡
  15. SSE与MSE不是一回事 理解等级:高级 普通读书笔记卡
  16. 调节参数本质是模型选择 理解等级:中级 普通读书笔记卡
  17. 贝叶斯先验对应惩罚 理解等级:高级 结构图卡
  18. 最小角回归一次算完整路径 理解等级:高级 结构图卡
  19. 好惩罚函数与SCAD神谕性 理解等级:高级 普通读书笔记卡
  20. 损失函数加罚的统一框架 理解等级:中级 结构图卡
  21. 分位回归按后果不对称惩罚 理解等级:高级 普通读书笔记卡
  22. 弹性网兼顾相关变量组 理解等级:高级 普通读书笔记卡
  23. 分组Lasso整组取舍 理解等级:中级 普通读书笔记卡
  24. 糖尿病数据:共线性与逐步回归 理解等级:中级 操作参考卡
  25. 糖尿病数据跑岭回归与Lasso 理解等级:高级 操作参考卡
  26. 恩格尔数据的分位回归 理解等级:中级 操作参考卡

03

18 张卡片
  1. 分类就是划分特征空间 理解等级:初级 普通读书笔记卡
  2. 判别函数取最大即分类 理解等级:中级 普通读书笔记卡
  3. 贝叶斯分类器是误差下界 理解等级:高级 结构图卡
  4. 二分类器如何做多分类 理解等级:中级 结构图卡
  5. 不平衡数据别只看正确率 理解等级:中级 问题卡
  6. 阈值与约登指数 理解等级:中级 普通读书笔记卡
  7. ROC曲线把阈值扫一遍 理解等级:中级 普通读书笔记卡
  8. Logit把概率拉成直线 理解等级:中级 普通读书笔记卡
  9. 系数是发生比的倍数 理解等级:中级 普通读书笔记卡
  10. 最大似然靠迭代加权求解 理解等级:高级 普通读书笔记卡
  11. 充分性看拟合简洁性看变量 理解等级:中级 普通读书笔记卡
  12. L1惩罚做变量筛选 理解等级:中级 普通读书笔记卡
  13. LDA从类分布反推后验 理解等级:高级 结构图卡
  14. 方差不等边界就变弯 理解等级:高级 普通读书笔记卡
  15. 正则化在LDA与QDA之间 理解等级:中级 普通读书笔记卡
  16. Logistic与LDA差在哪 理解等级:高级 普通读书笔记卡
  17. 心脏病数据的建模流程 理解等级:中级 操作参考卡
  18. 惩罚回归与判别法对比 理解等级:中级 操作参考卡

04

17 张卡片
  1. 测试误差与期望测试误差 理解等级:中级 普通读书笔记卡
  2. 训练误差不能估计测试误差 理解等级:中级 普通读书笔记卡
  3. 分类损失的两种常用形式 理解等级:中级 普通读书笔记卡
  4. 模型选择与模型评价的分工 理解等级:中级 结构图卡
  5. 偏差-方差分解的三项 理解等级:高级 结构图卡
  6. 模型偏差与估计偏差 理解等级:高级 普通读书笔记卡
  7. 样本内误差与乐观度 理解等级:高级 普通读书笔记卡
  8. Cp 统计量校正乐观度 理解等级:中级 普通读书笔记卡
  9. KL 距离与 AIC 理解等级:高级 普通读书笔记卡
  10. BIC 与后验模型概率 理解等级:高级 普通读书笔记卡
  11. 有效参数个数与自由度 理解等级:高级 普通读书笔记卡
  12. K 折交叉验证的步骤 理解等级:中级 结构图卡
  13. 交叉验证须嵌入每一步 理解等级:高级 问题卡
  14. 自助法抽样与0.632 理解等级:中级 普通读书笔记卡
  15. 自助法误差的两种修正 理解等级:高级 普通读书笔记卡
  16. 模拟研究1:交叉验证流程 理解等级:中级 操作参考卡
  17. 模拟研究2:高维单变量分类 理解等级:中级 操作参考卡

05

28 张卡片
  1. 决策树从根节点递归分枝 理解等级:初级 结构图卡
  2. 不纯度:错分率、Gini与熵 理解等级:中级 普通读书笔记卡
  3. 先长大树再代价复杂度剪枝 理解等级:中级 普通读书笔记卡
  4. 回归树用均值做预测 理解等级:中级 普通读书笔记卡
  5. 自变量处理的两个技巧 理解等级:高级 普通读书笔记卡
  6. 决策树方差大不稳定 理解等级:高级 普通读书笔记卡
  7. Bagging重采样后投票平均 理解等级:初级 结构图卡
  8. 不稳定基学习器才受益 理解等级:高级 普通读书笔记卡
  9. 多数投票为何有效的条件 理解等级:高级 普通读书笔记卡
  10. 袋外样本估计泛化误差 理解等级:中级 普通读书笔记卡
  11. Bagging救不了坏分类器 理解等级:高级 问题卡
  12. AdaBoost自适应重采样 理解等级:中级 结构图卡
  13. 每轮拟合加权错分率最小的树 理解等级:中级 普通读书笔记卡
  14. AdaBoost是分步可加模型 理解等级:中级 结构图卡
  15. 指数损失下的AdaBoost 理解等级:高级 普通读书笔记卡
  16. 边际与泛化上界 理解等级:高级 普通读书笔记卡
  17. 梯度提升拟合负梯度 理解等级:高级 结构图卡
  18. 指数损失对噪声更敏感 理解等级:高级 普通读书笔记卡
  19. LogitBoost改用牛顿法 理解等级:中级 普通读书笔记卡
  20. 迭代次数与学习率收缩 理解等级:高级 问题卡
  21. 变量重要性与偏依赖图 理解等级:中级 普通读书笔记卡
  22. 随机森林随机选变量降相关 理解等级:中级 结构图卡
  23. 随机森林只减方差 理解等级:高级 普通读书笔记卡
  24. 乳腺癌数据:分类树基线 理解等级:中级 操作参考卡
  25. 乳腺癌数据:组合模型对比 理解等级:中级 操作参考卡
  26. 乳腺癌的Boosting模型 理解等级:中级 操作参考卡
  27. cpu数据的四种方法对比 理解等级:中级 操作参考卡
  28. 树桩、单树与AdaBoost 理解等级:中级 操作参考卡

06

26 张卡片
  1. 生物神经元的二值输出 理解等级:初级 普通读书笔记卡
  2. 人工神经元的加权求和 理解等级:中级 结构图卡
  3. 激活函数的三类形态 理解等级:中级 普通读书笔记卡
  4. 梯度下降要求处处可微 理解等级:高级 普通读书笔记卡
  5. 前向网络的分层传递 理解等级:中级 结构图卡
  6. 反馈网络收敛到平衡态 理解等级:中级 结构图卡
  7. 三种学习方式的监督强度 理解等级:中级 普通读书笔记卡
  8. 多分类的单输出拆解法 理解等级:高级 普通读书笔记卡
  9. 误差纠正学习规则 理解等级:中级 普通读书笔记卡
  10. Hebb规则:同兴奋则增强 理解等级:中级 普通读书笔记卡
  11. 单层感知器的学习算法 理解等级:中级 结构图卡
  12. 感知器的线性可分边界 理解等级:高级 问题卡
  13. BP算法的两阶段循环 理解等级:中级 结构图卡
  14. 误差信号的逐层反传 理解等级:高级 普通读书笔记卡
  15. 动量项抑制权值震荡 理解等级:中级 普通读书笔记卡
  16. 学习率与初始权值 理解等级:高级 普通读书笔记卡
  17. 隐层容量决定拟合程度 理解等级:高级 普通读书笔记卡
  18. 深度网络的分层抽象 理解等级:中级 结构图卡
  19. 深网训练的三重障碍 理解等级:高级 问题卡
  20. RBM的层内无连接 理解等级:中级 结构图卡
  21. 用CD-1绕开配分函数 理解等级:高级 普通读书笔记卡
  22. DBN的生成与识别双路 理解等级:中级 结构图卡
  23. 逐层预训练再整体微调 理解等级:高级 普通读书笔记卡
  24. 热负荷回归的BP建模 理解等级:中级 操作参考卡
  25. 用测试误判率选隐层 理解等级:高级 操作参考卡
  26. 手写数字的深网与RBM 理解等级:中级 操作参考卡

07

15 张卡片
  1. 线性可分与线性不可分 理解等级:初级 普通读书笔记卡
  2. 最大间隔原则 理解等级:中级 结构图卡
  3. 支持向量决定分类边界 理解等级:中级 普通读书笔记卡
  4. 超平面、法向量与几何间隔 理解等级:中级 普通读书笔记卡
  5. 间隔最大化化为凸二次规划 理解等级:高级 结构图卡
  6. 松弛变量允许样本越界 理解等级:中级 结构图卡
  7. 惩罚系数 C 控制容忍度 理解等级:高级 普通读书笔记卡
  8. 对偶求解与三类支持向量 理解等级:高级 普通读书笔记卡
  9. 核技巧绕开显式映射 理解等级:高级 结构图卡
  10. 常用核函数一览 理解等级:中级 普通读书笔记卡
  11. 合页损失与正则化视角 理解等级:高级 普通读书笔记卡
  12. ε不敏感损失与SVR 理解等级:中级 普通读书笔记卡
  13. Glass数据三种核对比 理解等级:中级 操作参考卡
  14. LIBSVM格式与HAR实战 理解等级:中级 操作参考卡
  15. 几何与代数两种读法 理解等级:高级 普通读书笔记卡

08

18 张卡片
  1. 欧氏距离与加权欧氏 理解等级:中级 普通读书笔记卡
  2. 马氏距离扣除协方差 理解等级:中级 普通读书笔记卡
  3. 曼哈顿与切比雪夫距离 理解等级:初级 普通读书笔记卡
  4. 余弦相似度只看方向 理解等级:高级 普通读书笔记卡
  5. 类间距离的三种连接 理解等级:中级 结构图卡
  6. 层次聚类两条路线 理解等级:中级 结构图卡
  7. K均值与Lloyd迭代 理解等级:中级 结构图卡
  8. EM聚类是软划分 理解等级:高级 结构图卡
  9. DBSCAN用密度定类 理解等级:中级 普通读书笔记卡
  10. 密度可达与密度相连 理解等级:高级 结构图卡
  11. 稀疏聚类加权准则 理解等级:高级 普通读书笔记卡
  12. 稀疏K均值的交替解 理解等级:高级 结构图卡
  13. 稀疏层次聚类 理解等级:高级 普通读书笔记卡
  14. 双向聚类与BIMAX 理解等级:高级 结构图卡
  15. Iris层次与K均值对比 理解等级:中级 操作参考卡
  16. Iris的DBSCAN参数 理解等级:高级 操作参考卡
  17. Musk稀疏聚类上机 理解等级:中级 操作参考卡
  18. 基因数据的BIMAX上机 理解等级:中级 操作参考卡

09

16 张卡片
  1. 信息过载下的选择推送 理解等级:初级 普通读书笔记卡
  2. 用户邻域与物品邻域 理解等级:中级 结构图卡
  3. 邻居评分的加权平均 理解等级:中级 普通读书笔记卡
  4. 评分标准化与中心化 理解等级:中级 普通读书笔记卡
  5. 离散评分的示性投票 理解等级:中级 普通读书笔记卡
  6. 邻居选择的三条准则 理解等级:中级 结构图卡
  7. 余弦与Pearson相似度 理解等级:中级 普通读书笔记卡
  8. 0-1数据的Jaccard指数 理解等级:中级 普通读书笔记卡
  9. 小样本相似度的收缩修正 理解等级:高级 普通读书笔记卡
  10. 邻域法局限与矩阵分解 理解等级:高级 问题卡
  11. SGD训练与基准正则化 理解等级:中级 结构图卡
  12. ALS交替最小二乘 理解等级:高级 普通读书笔记卡
  13. SVD++融合隐式反馈 理解等级:高级 普通读书笔记卡
  14. 概率矩阵分解PMF 理解等级:高级 普通读书笔记卡
  15. Jester数据与评分分布 理解等级:初级 操作参考卡
  16. 三模型对比UBCF最优 理解等级:中级 操作参考卡

10

18 张卡片
  1. 整日无记录不等于没使用 理解等级:初级 普通读书笔记卡
  2. 三层汇总得到强度矩阵 理解等级:中级 结构图卡
  3. 用前23天预测后7天 理解等级:中级 操作参考卡
  4. 五成缺失仍插补中位数合理吗 理解等级:高级 问题卡
  5. 组间方差占比决定K的取值 理解等级:中级 普通读书笔记卡
  6. 双向聚类允许部分属性相似 理解等级:高级 结构图卡
  7. RFM移植与四类人群 理解等级:中级 普通读书笔记卡
  8. 稀疏矩阵上的协同过滤 理解等级:中级 操作参考卡
  9. 两种协同过滤的推荐差异 理解等级:高级 普通读书笔记卡
  10. 单机与Spark结果对齐 理解等级:高级 普通读书笔记卡
  11. 把机场天气爬回来 理解等级:中级 普通读书笔记卡
  12. 二十一年表合成一张表 理解等级:中级 操作参考卡
  13. 延误率与平均延误的错位 理解等级:中级 普通读书笔记卡
  14. 线性模型为何在延误上失灵 理解等级:高级 普通读书笔记卡
  15. 机场聚类的五个特征 理解等级:中级 操作参考卡
  16. 三类机场与外部验证 理解等级:中级 普通读书笔记卡
  17. 把航线网络当成图 理解等级:中级 结构图卡
  18. 数据更多问题反而更难 理解等级:高级 问题卡

全书概览

大数据挖掘与统计机器学习

执行模式:light

建档进度:done

Skill 版本:v24

整体评级

信息浓度:高。全书不满足于给出方法清单,而是每个方法都回答”它为什么这样设、代价是什么”:岭回归为什么用 kI 而不是别的约束(要让 XᵀX+kI 必然可逆、系数连续收缩到零)、Lasso 为什么能产生稀疏解(L1 约束的菱形顶点落在坐标轴上)、AdaBoost 为什么等价于指数损失下的前向分步可加模型、SVM 为什么最大化间隔等价于控制模型容量。每章末还配一个可运行的 R 实践,把结论落到具体数据的误差数字上。

稳定性:高。核心是统计学习的可迁移原理——偏差-方差权衡、损失函数加罚框架、交叉验证的纪律、不纯度与剪枝、最大间隔与核技巧、潜在因子分解。具体数据集(糖尿病、心脏病、乳腺癌、Glass、Iris、Jester、QuestMobile、美国航空)和 R 包版本会过时,但都只作演示手段;书中对度量口径的提醒(正确率不能用于不平衡数据、交叉验证要嵌进每一步、整日无记录不等于没使用)比任何一次实验结果都耐久。

四象限定位:高浓度 × 高稳定 → 经典原理(最高级别)。

内容形态:主形态为概念解析型。十章统一按”问题背景 → 模型与假定 → 参数估计与推导 → 评价与选择 → R 上机实践”组织,重点是让读者理解每个动作的统计含义;局部混合操作参考型(每章的”上机实践”小节以数据、代码、结果解读为一组,按分析任务分组取材),个别小节带问题分析结构(如 4.3 交叉验证的正确用法、6.2 深网训练为何困难)。

整书笔记

阅读正文、章节讲解、全书主线、跨章综合与全部卡片/原文定位见 _book_note.md。覆盖与候选取舍见 _coverage.md。

章节进度追踪

章节号 章节标题 状态(pending/done) 卡片数
00 总序与前言 done 4
01 第1章 概述 done 14
02 第2章 线性回归方法 done 26
03 第3章 线性分类方法 done 18
04 第4章 模型评价与选择 done 17
05 第5章 决策树与组合方法 done 28
06 第6章 神经网络与深度学习 done 26
07 第7章 支持向量机 done 15
08 第8章 聚类分析 done 18
09 第9章 推荐系统 done 16
10 第10章 大数据案例分析 done 18

合计 200 张知识卡。总序与前言为 4 张卡(统计学的方法论立场、大数据对统计人才的要求、数据科学的由来、本书方法与代码并重的写法);参考文献为著录列表,按非正文处理。

非正文排除

spine项 类型 排除理由
spine[0] cover.xhtml 封面 仅”Cover”占位文字,无正文
spine[1] Copyright.xhtml 版权页 书名、作者、出版社、ISBN 等出版信息,无技术内容;其字段已用于笔记 front matter
spine[61] chapter13.xhtml 参考文献 7,597 字符的文献著录列表([1]…[n]),无可独立成卡的方法或判断

待关联术语

术语名 出现章节 一句话语境
主成分分析 01 作为无监督学习的典型例子与聚类、关联规则并列提名,未解释降维目标与求解方式。
关联规则 01 同上,仅作为无监督学习例子出现;本书后续章节未展开。
朴素贝叶斯 01 在”有监督学习方法包括……”的列举中出现,未介绍其条件独立假定与估计方式。
K近邻 01 第 4 章上机实践的脚注提到 KNN 可用于分类与回归,未展开距离度量与 K 的选择。
卷积神经网络 06 介绍深度学习家族时与深度玻尔兹曼机并列提名,未讲卷积与池化机制。
深度玻尔兹曼机 06 同上,作为深度学习代表方法提名;本书只详细讲了 RBM 与 DBN。
随机梯度下降 06 在 RBM 的 CD 学习与第 9 章矩阵分解中出现,只给更新式,未讨论其收敛性质与批量选择。

引用文献

标题 类型 出现章节 一句话语境
The Elements of Statistical Learning(Hastie, Tibshirani, Friedman) 书 04 交叉验证与样本外误差讨论的详细参考。
弹性网(Zou and Hastie, 2005) 论文 02 提出 elastic net 惩罚,使变量选择能成组选出相关变量。
Fan and Li(2001)关于好惩罚函数的三性质 论文 02 以无偏性、稀疏性、连续性三条标准评价 SCAD 等惩罚函数。
Breiman 随机森林 论文 05 随机森林的提出出处,本章据此讲随机选变量如何降低树间相关性。
Koren 等矩阵分解与 SVD++ 论文 09 潜在因子模型与隐式反馈扩展的来源。
郁彬《数据科学与统计学的机遇与挑战》(中国计算机学会通讯, 2016) 论文 01 “数据智慧”一节引用其十问清单讨论数据分析的判断力。

资金安全问题案例

问题标题 问题卡 解决方案卡(如有) 出现章节 一句话说明
— 无 — — 本书讨论统计学习方法,不涉及转账、扣款、库存扣减等资金类并发正确性场景,无此类案例。

实践卡进度

序号 实践标题 实践方式 状态(pending/done) 关联章节 产出
001 交叉验证纪律自查 真实任务 done 04 ideas/idea-001-交叉验证纪律自查.md
002 岭迹诊断共线性 真实任务 done 02 ideas/idea-002-岭迹诊断共线性.md
003 稳定性检验复核结论 决策实践 done 01 ideas/idea-003-稳定性检验复核结论.md
004 聚类个数与结果复核 证据验证 done 08 ideas/idea-004-聚类个数与结果复核.md

实践候选筛选:done

筛选说明:未采用”完整复现第 10 章两个 10G 案例”(本地无同规模数据,且需要爬取历史天气,环境不可控,只能作阅读参照)、”通读 R 包源码实现”(本书方法均有成熟教材实现,深读源码对理解假定帮助有限,收益低于直接做数据实验)、”重做书中全部上机练习”(与 001/002 重复,且多数练习只验证代码可跑,不产生新的判断)。以上候选保留为后续可选项,不计入本轮交付。

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

暂无公开主题。