来源书籍
数据科学入门(第2版)
章节与卡片
01 第1章 导论
8 张卡片
- 数据科学家做什么而非是谁 理解等级:初级 普通读书笔记卡
- 虚构公司串起全书 理解等级:初级 普通读书笔记卡
- 边列表换成邻接表 理解等级:中级 普通读书笔记卡
- 度中心性的直觉偏差 理解等级:中级 普通读书笔记卡
- 朋友的朋友要去重过滤 理解等级:中级 普通读书笔记卡
- 连续值直接分组的陷阱 理解等级:中级 普通读书笔记卡
- 凭肉眼写一条阈值规则 理解等级:初级 问题卡
- 朴素词频法的失效点 理解等级:初级 普通读书笔记卡
02 第2章 Python速成
13 张卡片
- 虚拟环境隔离库版本 理解等级:中级 普通读书笔记卡
- 缩进就是代码块 理解等级:初级 普通读书笔记卡
- 导入方式决定名字来源 理解等级:中级 普通读书笔记卡
- 函数是可以传递的值 理解等级:中级 普通读书笔记卡
- 异常也是正常控制流 理解等级:中级 普通读书笔记卡
- 缺键自动生成默认值 理解等级:中级 普通读书笔记卡
- 字典键必须可散列 理解等级:中级 普通读书笔记卡
- 集合让成员测试变快 理解等级:中级 普通读书笔记卡
- 空容器为假与短路返回 理解等级:中级 普通读书笔记卡
- 用 assert 固化预期 理解等级:中级 普通读书笔记卡
- 生成器按需产出 理解等级:高级 普通读书笔记卡
- 类型注解运行时不生效 理解等级:高级 普通读书笔记卡
- 类把状态和行为绑在一起 理解等级:中级 普通读书笔记卡
03 第3章 数据可视化
5 张卡片
- 图类型由 x 轴含义决定 理解等级:中级 普通读书笔记卡
- 直方图是分箱后的条形 理解等级:中级 操作参考卡
- 条形图 y 轴必须从 0 开始 理解等级:高级 普通读书笔记卡
- 散点图需等比例坐标轴 理解等级:高级 普通读书笔记卡
- pyplot 靠状态逐步搭图 理解等级:中级 普通读书笔记卡
04 第4章 线性代数
5 张卡片
- 向量把一行数据变成点 理解等级:初级 普通读书笔记卡
- 向量加法按分量对齐 理解等级:初级 普通读书笔记卡
- 点积衡量投影与同向程度 理解等级:高级 普通读书笔记卡
- 矩阵的三种身份 理解等级:中级 普通读书笔记卡
- 邻接矩阵用空间换查询 理解等级:高级 普通读书笔记卡
05 第5章 统计学
9 张卡片
- 均值被每个点牵着走 理解等级:中级 普通读书笔记卡
- 分位数:中位数的推广 理解等级:初级 普通读书笔记卡
- 方差为什么除以 n−1 理解等级:高级 普通读书笔记卡
- 离散度度量的稳健取舍 理解等级:中级 普通读书笔记卡
- 协方差为什么难解释 理解等级:中级 普通读书笔记卡
- 相关系数只捕捉线性关系 理解等级:中级 普通读书笔记卡
- 一个异常值拖垮相关系数 理解等级:中级 普通读书笔记卡
- 辛普森悖论的分组反转 理解等级:高级 普通读书笔记卡
- 相关不等于因果 理解等级:高级 普通读书笔记卡
06 第6章 概率
8 张卡片
- 独立用乘法判定 理解等级:中级 普通读书笔记卡
- 条件概率换掉了分母 理解等级:中级 普通读书笔记卡
- 贝叶斯定理逆转条件 理解等级:高级 普通读书笔记卡
- 基础率让阳性不再可信 理解等级:高级 普通读书笔记卡
- 随机变量与期望值 理解等级:中级 普通读书笔记卡
- 概率密度不是概率 理解等级:高级 普通读书笔记卡
- 正态分布只需两个参数 理解等级:中级 普通读书笔记卡
- 中心极限定理 理解等级:高级 普通读书笔记卡
07 第7章 假设和推论
10 张卡片
- 零假设是默认立场 理解等级:中级 普通读书笔记卡
- 显著性与两类错误 理解等级:中级 普通读书笔记卡
- 单边检验换来的势 理解等级:高级 普通读书笔记卡
- p 值回答的是反问题 理解等级:高级 普通读书笔记卡
- 连续校正补上半个单位 理解等级:中级 普通读书笔记卡
- 置信区间是随机区间 理解等级:高级 普通读书笔记卡
- 5% 的假阳性必然出现 理解等级:高级 普通读书笔记卡
- A/B 测试就是 z 检验 理解等级:高级 普通读书笔记卡
- 贝叶斯把参数当变量 理解等级:高级 普通读书笔记卡
- 先验的影响会被数据冲淡 理解等级:高级 普通读书笔记卡
08 第8章 梯度下降
7 张卡片
- 梯度指向最陡上升方向 理解等级:中级 普通读书笔记卡
- 梯度下降只保局部 理解等级:中级 普通读书笔记卡
- 用差商近似导数 理解等级:中级 普通读书笔记卡
- 步长只能靠实验确定 理解等级:中级 普通读书笔记卡
- 把拟合变成最小化损失 理解等级:中级 结构图卡
- 读懂线性回归的梯度 理解等级:高级 普通读书笔记卡
- 小批次与随机梯度的取舍 理解等级:高级 普通读书笔记卡
09 第9章 获取数据
8 张卡片
- 用管道串起小工具 理解等级:初级 操作参考卡
- 永不手写 CSV 解析 理解等级:中级 普通读书笔记卡
- 抓取难在理解结构 理解等级:中级 普通读书笔记卡
- 优先用 API 而非抓取 理解等级:中级 普通读书笔记卡
- HTTP 上的数据是字符串 理解等级:初级 普通读书笔记卡
- 密钥要当密码保管 理解等级:初级 操作参考卡
- 封装库省事也藏坑 理解等级:高级 普通读书笔记卡
- 搜索接口与流式接口 理解等级:中级 普通读书笔记卡
10 第10章 数据工作
11 张卡片
- 统计量相同不等于同分布 理解等级:中级 普通读书笔记卡
- 边际相同不代表联合相同 理解等级:中级 普通读书笔记卡
- 多维先看相关矩阵 理解等级:中级 普通读书笔记卡
- 别用字典当记录 理解等级:中级 普通读书笔记卡
- 不可变是防错的默认值 理解等级:中级 普通读书笔记卡
- 坏数据按比例决定处置 理解等级:高级 普通读书笔记卡
- 不报错的错误最危险 理解等级:中级 普通读书笔记卡
- 排序加 zip 造出相邻变化 理解等级:中级 普通读书笔记卡
- 单位决定谁是谁的邻居 理解等级:高级 普通读书笔记卡
- PCA 先去掉均值再求方差 理解等级:中级 普通读书笔记卡
- 降维的代价是可解释性 理解等级:高级 普通读书笔记卡
11 第11章 机器学习
9 张卡片
- 模型是变量关系的规范 理解等级:中级 普通读书笔记卡
- 过拟合记住噪声而非规律 理解等级:中级 普通读书笔记卡
- 训练/测试分离检验泛化 理解等级:中级 普通读书笔记卡
- 用验证集隔离模型选择 理解等级:高级 结构图卡
- 准确率会被不平衡数据骗 理解等级:高级 问题卡
- 精确率与召回率的取舍 理解等级:中级 普通读书笔记卡
- 偏差-方差权衡 理解等级:高级 普通读书笔记卡
- 更多数据只降方差 理解等级:高级 普通读书笔记卡
- 特征既是输入也是上限 理解等级:中级 普通读书笔记卡
12 第12章 k 最近邻法
6 张卡片
- kNN 只依赖距离与邻近假设 理解等级:中级 普通读书笔记卡
- 平票时缩小 k 再投票 理解等级:初级 普通读书笔记卡
- k 值决定偏差与方差 理解等级:高级 普通读书笔记卡
- 四维数据靠两两散点图看 理解等级:中级 普通读书笔记卡
- 维数灾难让最近的距离失去意义 理解等级:高级 普通读书笔记卡
- 高维空间稀疏到填不满 理解等级:中级 普通读书笔记卡
13 第13章 朴素贝叶斯算法
7 张卡片
- 贝叶斯定理把先验翻成后验 理解等级:中级 普通读书笔记卡
- 朴素假设:单词在类内相互独立 理解等级:高级 普通读书笔记卡
- 对数求和替代连乘防下溢 理解等级:中级 普通读书笔记卡
- 拉普拉斯平滑避免一票否决 理解等级:高级 普通读书笔记卡
- 训练只是统计词频 理解等级:中级 普通读书笔记卡
- 用词级后验反查模型 理解等级:中级 普通读书笔记卡
- 主题行过滤器的实测与改进 理解等级:中级 普通读书笔记卡
14 第14章 简单线性回归
5 张卡片
- 用直线加误差描述关系 理解等级:初级 普通读书笔记卡
- 平方误差避免正负抵消 理解等级:中级 普通读书笔记卡
- 最小二乘解的统计直觉 理解等级:高级 普通读书笔记卡
- R² 衡量相对均值的改进 理解等级:中级 普通读书笔记卡
- 正态误差下最小二乘即最大似然 理解等级:高级 普通读书笔记卡
15 第15章 多元回归
9 张卡片
- 多元回归把自变量堆成向量 理解等级:中级 普通读书笔记卡
- 自变量共线则系数不可辨识 理解等级:高级 普通读书笔记卡
- 漏掉变量会让系数有偏 理解等级:高级 普通读书笔记卡
- 系数只在其他条件相同时成立 理解等级:中级 普通读书笔记卡
- R² 变大不代表模型变好 理解等级:高级 普通读书笔记卡
- Bootstrap 重采样估稳定性 理解等级:中级 普通读书笔记卡
- 标准误差判断系数是否可信 理解等级:高级 普通读书笔记卡
- 正则化用惩罚压制大系数 理解等级:高级 普通读书笔记卡
- 岭回归收缩、lasso 稀疏 理解等级:中级 普通读书笔记卡
16 第16章 逻辑回归
6 张卡片
- 线性回归做分类会越界 理解等级:高级 普通读书笔记卡
- logistic 把任意数压成概率 理解等级:中级 结构图卡
- 逻辑回归最大化似然 理解等级:高级 普通读书笔记卡
- 逻辑回归系数不是概率增量 理解等级:中级 普通读书笔记卡
- 精确率与召回率各答一问 理解等级:中级 普通读书笔记卡
- 核技巧免去真的升维 理解等级:中级 普通读书笔记卡
17 第17章 决策树
8 张卡片
- 决策树是逐层提问的树 理解等级:初级 普通读书笔记卡
- 熵衡量标签分布的不确定性 理解等级:中级 普通读书笔记卡
- 按划分熵而非准确率选问题 理解等级:高级 普通读书笔记卡
- 高基数属性会造出假零熵 理解等级:高级 普通读书笔记卡
- ID3 每一步只选当前最优 理解等级:中级 结构图卡
- 树越纯越容易过拟合 理解等级:高级 普通读书笔记卡
- 随机森林靠双重随机降方差 理解等级:高级 普通读书笔记卡
- 树天然吃混合类型与缺失值 理解等级:中级 普通读书笔记卡
18 第18章 神经网络
8 张卡片
- 感知器只是线性分类器 理解等级:中级 普通读书笔记卡
- 异或暴露单层的极限 理解等级:中级 普通读书笔记卡
- 隐藏层负责造特征 理解等级:中级 普通读书笔记卡
- 平滑激活函数为求导 理解等级:中级 普通读书笔记卡
- 偏置并入权重向量 理解等级:初级 普通读书笔记卡
- 反向传播复用链式法则 理解等级:高级 普通读书笔记卡
- Fizz Buzz 输入要选编码 理解等级:中级 普通读书笔记卡
- 训练集不能碰考题 理解等级:中级 普通读书笔记卡
19 第19章 深度学习
13 张卡片
- 张量是可递归的高维列表 理解等级:初级 普通读书笔记卡
- 层把前向与反向打包 理解等级:中级 普通读书笔记卡
- 初始化决定能否训练 理解等级:高级 普通读书笔记卡
- Sequential 把层序列折成一层 理解等级:中级 普通读书笔记卡
- 损失与优化器各管一段 理解等级:中级 普通读书笔记卡
- 参数更新必须切片赋值 理解等级:中级 问题卡
- 动量平滑梯度方向 理解等级:中级 普通读书笔记卡
- sigmoid 的两个结构性缺陷 理解等级:高级 普通读书笔记卡
- softmax 把得分变成概率 理解等级:中级 普通读书笔记卡
- 交叉熵为何收敛更快 理解等级:高级 普通读书笔记卡
- Dropout 用随机失活防过拟合 理解等级:中级 普通读书笔记卡
- 输入预处理决定训练效果 理解等级:中级 普通读书笔记卡
- 只存权重的模型序列化 理解等级:中级 操作参考卡
20 第20章 聚类分析
9 张卡片
- 聚类没有唯一正确答案 理解等级:初级 普通读书笔记卡
- k-均值靠两阶段交替 理解等级:中级 普通读书笔记卡
- 迭代必然停下但未必最优 理解等级:高级 普通读书笔记卡
- 用误差肘部挑选 k 理解等级:中级 普通读书笔记卡
- 五色图像就是五个中心 理解等级:初级 普通读书笔记卡
- 自底向上合并并记录次序 理解等级:中级 结构图卡
- 簇间距离决定聚类形状 理解等级:高级 普通读书笔记卡
- 层次聚类的代价在重复计算 理解等级:中级 普通读书笔记卡
- 只有低维才能用眼睛验收 理解等级:初级 普通读书笔记卡
21 第21章 自然语言处理
13 张卡片
- 词云的位置没有含义 理解等级:初级 普通读书笔记卡
- n-gram 只依赖前几个词 理解等级:中级 普通读书笔记卡
- 阶数越高越通顺也越像原文 理解等级:高级 普通读书笔记卡
- 语法用规则递归生成句子 理解等级:中级 普通读书笔记卡
- 只知道条件分布也能采样 理解等级:高级 普通读书笔记卡
- LDA 的三层生成故事 理解等级:高级 结构图卡
- 逐词重采样训练 LDA 理解等级:高级 普通读书笔记卡
- 上下文相似则向量相近 理解等级:高级 普通读书笔记卡
- 词向量就是一张查找表 理解等级:中级 普通读书笔记卡
- 词向量只反映它读过的语料 理解等级:高级 普通读书笔记卡
- RNN 用隐藏状态携带顺序 理解等级:中级 普通读书笔记卡
- 简单RNN记不住长期依赖 理解等级:高级 普通读书笔记卡
- 字符级 RNN 造名字 理解等级:中级 普通读书笔记卡
22 第22章 网络分析
10 张卡片
- 网络:节点、边与方向 理解等级:初级 普通读书笔记卡
- 中介中心性度量“桥” 理解等级:中级 普通读书笔记卡
- 广度优先枚举全部最短路径 理解等级:中级 普通读书笔记卡
- 接近中心性看疏远度 理解等级:初级 普通读书笔记卡
- 矩阵乘法视为线性映射 理解等级:中级 普通读书笔记卡
- 幂迭代逼近特征向量 理解等级:中级 普通读书笔记卡
- 特征向量中心性是不动点 理解等级:高级 普通读书笔记卡
- 特征向量中心性对结构敏感 理解等级:中级 普通读书笔记卡
- PageRank 按分量加权 理解等级:高级 结构图卡
- 阻尼系数防止分数被吞 理解等级:中级 普通读书笔记卡
23 第23章 推荐系统
10 张卡片
- 流行度推荐只适合冷启动 理解等级:初级 普通读书笔记卡
- 兴趣向量与余弦相似度 理解等级:中级 普通读书笔记卡
- 相似用户的兴趣加权汇总 理解等级:中级 普通读书笔记卡
- 高维兴趣下最近邻失效 理解等级:高级 普通读书笔记卡
- 转置矩阵后算物品相似度 理解等级:中级 普通读书笔记卡
- 用户侧与物品侧的取舍 理解等级:高级 普通读书笔记卡
- 评分矩阵分解为隐因子 理解等级:中级 普通读书笔记卡
- 用梯度下降学嵌入 理解等级:中级 普通读书笔记卡
- 嵌入维度与过拟合 理解等级:高级 普通读书笔记卡
- 未评分与冷启动 理解等级:中级 普通读书笔记卡
24 第24章 数据库与 SQL
11 张卡片
- 表是带模式的行的集合 理解等级:初级 普通读书笔记卡
- 更新与删除的谓词边界 理解等级:中级 操作参考卡
- 查询返回新表而非改动原表 理解等级:初级 普通读书笔记卡
- NULL 让比较变三值 理解等级:中级 普通读书笔记卡
- GROUP BY 折叠行成组 理解等级:中级 普通读书笔记卡
- HAVING 在聚合后过滤 理解等级:高级 普通读书笔记卡
- 多值属性拆成独立表 理解等级:初级 普通读书笔记卡
- JOIN 会放大行数 理解等级:高级 结构图卡
- 索引以空间换查找 理解等级:高级 普通读书笔记卡
- 先过滤再连接更快 理解等级:中级 普通读书笔记卡
- NoSQL 放弃固定表结构 理解等级:初级 普通读书笔记卡
25 第25章 MapReduce
8 张卡片
- MapReduce 的三个步骤 理解等级:初级 操作参考卡
- 并行度受键的多样性限制 理解等级:高级 普通读书笔记卡
- 按键重分配是瓶颈 理解等级:高级 普通读书笔记卡
- 组合器减少跨机传输 理解等级:中级 普通读书笔记卡
- 选键决定 reducer 视野 理解等级:高级 普通读书笔记卡
- 稀疏矩阵只存非零项 理解等级:中级 普通读书笔记卡
- 矩阵乘法为何适合并行 理解等级:高级 结构图卡
- 聚合函数可与分组解耦 理解等级:中级 普通读书笔记卡
26 第26章 数据伦理
7 张卡片
- 伦理是框架,不是戒律 理解等级:高级 普通读书笔记卡
- 规模决定伦理责任大小 理解等级:中级 普通读书笔记卡
- 坏产品源于没想到滥用 理解等级:中级 普通读书笔记卡
- 一张表四种公平指控 理解等级:高级 结构图卡
- 可解释性要拿性能换 理解等级:高级 普通读书笔记卡
- 偏差被模型写成规则 理解等级:高级 普通读书笔记卡
- 条款授权不等于正当 理解等级:中级 普通读书笔记卡
27 第27章 数据科学前瞻
3 张卡片
- 不从零开始造轮子 理解等级:中级 普通读书笔记卡
- NumPy 是生态的地基 理解等级:初级 普通读书笔记卡
- 项目选题从自己的困扰出发 理解等级:中级 普通读书笔记卡
00a
1 张卡片
- 第2版重写了什么 理解等级:初级 普通读书笔记卡
全书概览
数据科学入门(第2版)
评级:经典原理(信息浓度高 × 稳定性高)
评级理由:全书用 27 章从零搭出一条完整的数据科学链路——先用 Python、可视化、线性代数、统计学、概率、假设检验与梯度下降把”零件”造出来,再用同一批零件亲手实现 kNN、朴素贝叶斯、回归、决策树、神经网络、深度学习、聚类、NLP、网络分析与推荐系统,最后落到数据库、MapReduce、数据伦理与前瞻。它的重心不在库的用法,而在”这个东西为什么这么做”:为什么样本方差要除以 n−1、为什么相关系数只能捕捉线性关系、为什么梯度的反方向是最速下降、为什么决策树用熵而不是准确率选分割、为什么朴素贝叶斯的”朴素”假设明显不成立却仍然有用、为什么协同过滤在稀疏矩阵上会退化、为什么 p-hacking 会系统性制造假发现。这些推理不随工具版本变化。代码基于 Python 3.x 与少量第三方库(matplotlib 只在第3章、NumPy/pandas 只在第27章介绍),代码本身会过时,但每段代码都在演示一个不依赖版本的思想,故稳定性判为高。
执行模式:light
建档进度:done
全文阅读:spine 37 项,实质正文 29 项(第2版前言、第1版前言 + 第1–27 章,约 307,792 个非空白字符),按 Go nodeText + Fields 归一化口径逐项完整读取;非正文 8 项逐项排除(见下表)。
整书笔记:_book_note.md(全书导读、全书主线、前言与 27 章正文、跨章综合、发散与实践)
覆盖记录:_coverage.md
工作流交接:_workflow.md
章节进度追踪表
| 章节号 | 章节标题 | 状态 | 卡片数 |
|---|---|---|---|
| 00 | 前言(第2版、第1版) | done | 3 |
| 01 | 第1章 导论 | done | 8 |
| 02 | 第2章 Python速成 | done | 13 |
| 03 | 第3章 数据可视化 | done | 5 |
| 04 | 第4章 线性代数 | done | 5 |
| 05 | 第5章 统计学 | done | 9 |
| 06 | 第6章 概率 | done | 8 |
| 07 | 第7章 假设和推论 | done | 10 |
| 08 | 第8章 梯度下降 | done | 7 |
| 09 | 第9章 获取数据 | done | 8 |
| 10 | 第10章 数据工作 | done | 11 |
| 11 | 第11章 机器学习 | done | 9 |
| 12 | 第12章 k 最近邻法 | done | 6 |
| 13 | 第13章 朴素贝叶斯算法 | done | 7 |
| 14 | 第14章 简单线性回归 | done | 5 |
| 15 | 第15章 多元回归 | done | 9 |
| 16 | 第16章 逻辑回归 | done | 6 |
| 17 | 第17章 决策树 | done | 8 |
| 18 | 第18章 神经网络 | done | 8 |
| 19 | 第19章 深度学习 | done | 13 |
| 20 | 第20章 聚类分析 | done | 9 |
| 21 | 第21章 自然语言处理 | done | 13 |
| 22 | 第22章 网络分析 | done | 10 |
| 23 | 第23章 推荐系统 | done | 10 |
| 24 | 第24章 数据库与 SQL | done | 11 |
| 25 | 第25章 MapReduce | done | 8 |
| 26 | 第26章 数据伦理 | done | 7 |
| 27 | 第27章 数据科学前瞻 | done | 3 |
非正文排除
| spine项 | 类型 | 排除理由 |
|---|---|---|
titlepage.xhtml |
封面 | 仅封面图,无文字 |
text/0000.xhtml |
空白页 | 仅 5 个字符,无内容 |
text/0001.xhtml |
版权信息 | 书名、出版方、ISBN、定价等出版信息 |
text/0001_0001.xhtml |
版权声明 | 版权与授权声明 |
text/0002.xhtml |
出版方介绍 | O’Reilly Media 介绍与业界评论摘录,非本书正文 |
text/0032.xhtml |
作者简介 | 作者履历 |
text/0033_split_000.xhtml |
封面说明 | 关于封面动物的介绍 |
text/0033_split_001.xhtml |
结束页 | “看完了”结束页,无内容 |
待关联术语
| 术语名 | 出现章节 | 一句话语境 |
|---|
引用文献
| 标题 | 类型 | 出现章节 | 一句话语境 |
|---|
资金安全问题案例
| 问题标题 | 问题卡 | 解决方案卡(如有) | 出现章节 | 一句话说明 |
|---|
实践卡进度
| 序号 | 实践标题 | 实践方式 | 状态 | 关联章节 | 产出 |
|---|---|---|---|---|---|
| 1 | 辛普森悖论自查分组数据 | 真实任务 | done | 第5章 | ideas/idea-001-辛普森悖论自查分组数据.md |
| 2 | 手写梯度下降对照成熟实现 | 最小实验 | done | 第8章 | ideas/idea-002-手写梯度下降对照成熟实现.md |
| 3 | 用偏差-方差诊断现有模型 | 决策实践 | done | 第11章 | ideas/idea-003-用偏差方差诊断现有模型.md |
| 4 | 用伦理清单审一次产品 | 决策实践 | done | 第26章 | ideas/idea-004-用伦理清单审一次产品.md |
实践候选筛选:done
未采用候选与原因:第17章的决策树可视化(需要引入 graphviz 环境,且书中未给出可视化步骤,超出最小实验成本)、第21章的文本主题模型复现(需要成规模语料,单机小样本无法验证主题稳定性)、第23章的协同过滤实测(需要真实用户-物品评分数据,手头无可用且可核验的数据集)。
相关主题
从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。
暂无公开主题。