来源书籍

机器学习基础:从入门到求职

Skill 版本:v24 192 张卡片

胡欢武 · 电子工业出版社 · 2019-04 · 2019年4月第1版 · ISBN 9787121355219

章节与卡片

00 前言

4 张卡片
  1. 本书只攻理论这一关 理解等级:初级 普通读书笔记卡
  2. 算法岗要的三重能力 理解等级:初级 普通读书笔记卡
  3. 四年里抬高的门槛 理解等级:初级 普通读书笔记卡
  4. 求职60问就是知识地图 理解等级:初级 结构图卡

01 第1章 机器学习概述

14 张卡片
  1. 机器学习是反向的编程 理解等级:初级 结构图卡
  2. 数据是机器学习的对象 理解等级:初级 普通读书笔记卡
  3. 人工智能包含机器学习 理解等级:初级 结构图卡
  4. 有监督学习:从答案学映射 理解等级:初级 普通读书笔记卡
  5. 聚类:无标签下划簇 理解等级:初级 普通读书笔记卡
  6. 降维缓解维数灾难 理解等级:初级 普通读书笔记卡
  7. 强化学习:试错中趋利避害 理解等级:中级 结构图卡
  8. 生成模型与判别模型 理解等级:中级 普通读书笔记卡
  9. 模型、策略、算法三要素 理解等级:中级 结构图卡
  10. 模型是带参数的函数族 理解等级:中级 普通读书笔记卡
  11. 六种损失函数各自服务谁 理解等级:中级 普通读书笔记卡
  12. 从损失函数到最优化问题 理解等级:中级 普通读书笔记卡
  13. 负梯度走一步:批量与随机 理解等级:中级 普通读书笔记卡
  14. 牛顿法及其两处修正 理解等级:高级 普通读书笔记卡

02 第2章 机器学习工程实践

14 张卡片
  1. 绝对误差与均方误差 理解等级:初级 普通读书笔记卡
  2. 混淆矩阵与准确率的盲区 理解等级:初级 普通读书笔记卡
  3. 查准率与查全率的矛盾 理解等级:中级 普通读书笔记卡
  4. ROC 曲线与 AUC 理解等级:中级 普通读书笔记卡
  5. 聚类外部指标的成对计数 理解等级:中级 普通读书笔记卡
  6. 内部指标与轮廓系数 理解等级:中级 普通读书笔记卡
  7. 常用距离度量一览 理解等级:初级 普通读书笔记卡
  8. 偏差-方差分解 理解等级:高级 普通读书笔记卡
  9. 过拟合与欠拟合 理解等级:初级 普通读书笔记卡
  10. 正则化:L1 稀疏 L2 衰减 理解等级:高级 普通读书笔记卡
  11. 数据挖掘的六步流程 理解等级:中级 结构图卡
  12. 缺失值填充的五种策略 理解等级:中级 操作参考卡
  13. 特征处理:量纲与编码 理解等级:初级 操作参考卡
  14. 交叉验证与网格搜索调参 理解等级:中级 结构图卡

03 第3章 线性回归

11 张卡片
  1. 回归是曲线拟合数据点 理解等级:初级 普通读书笔记卡
  2. 线性回归的模型表达式 理解等级:初级 普通读书笔记卡
  3. 为什么用均方误差作损失 理解等级:中级 普通读书笔记卡
  4. 梯度下降求解线性回归 理解等级:中级 普通读书笔记卡
  5. 线性回归的训练流程 理解等级:初级 结构图卡
  6. coef_ 与 R² 得分 理解等级:初级 操作参考卡
  7. Lasso 回归做特征选择 理解等级:中级 操作参考卡
  8. 岭回归的权重衰减 理解等级:中级 操作参考卡
  9. ElasticNet 混合正则 理解等级:中级 操作参考卡
  10. 四种线性回归怎么选 理解等级:中级 普通读书笔记卡
  11. 用回归预测时间序列 理解等级:中级 普通读书笔记卡

04 第4章 朴素贝叶斯

11 张卡片
  1. 朴素贝叶斯是生成模型 理解等级:初级 普通读书笔记卡
  2. 贝叶斯定理由三步拼成 理解等级:中级 普通读书笔记卡
  3. 条件独立假设换取可计算性 理解等级:中级 普通读书笔记卡
  4. 词袋与垃圾邮件三步分类 理解等级:初级 普通读书笔记卡
  5. 后验最大等价风险最小 理解等级:高级 普通读书笔记卡
  6. 零概率与拉普拉斯平滑 理解等级:中级 普通读书笔记卡
  7. 三种形式按特征分布选型 理解等级:中级 普通读书笔记卡
  8. 朴素贝叶斯的调用要点 理解等级:初级 操作参考卡
  9. TF-IDF压制通用词 理解等级:中级 普通读书笔记卡
  10. 中文文本分类流水线 理解等级:中级 结构图卡
  11. 朴素贝叶斯的适用边界 理解等级:中级 普通读书笔记卡

05 第5章 K近邻

10 张卡片
  1. 模型就是训练集本身 理解等级:初级 普通读书笔记卡
  2. 三要素确定KNN 理解等级:初级 普通读书笔记卡
  3. K值的偏差方差权衡 理解等级:中级 普通读书笔记卡
  4. 距离度量与归一化 理解等级:中级 普通读书笔记卡
  5. 多数表决等价风险最小 理解等级:中级 普通读书笔记卡
  6. 回归改为取均值 理解等级:初级 普通读书笔记卡
  7. KD树的构造 理解等级:高级 结构图卡
  8. KD树的搜索与剪枝 理解等级:高级 结构图卡
  9. K近邻的调用要点 理解等级:初级 操作参考卡
  10. K近邻的适用边界 理解等级:中级 普通读书笔记卡

06 第6章 决策树

13 张卡片
  1. 决策树的三要素 理解等级:初级 结构图卡
  2. 用熵度量不确定性 理解等级:中级 普通读书笔记卡
  3. 信息增益是熵的下降量 理解等级:中级 普通读书笔记卡
  4. 信息增益比压制多取值特征 理解等级:中级 普通读书笔记卡
  5. 基尼系数与基尼指数 理解等级:中级 普通读书笔记卡
  6. ID3的递归生成流程 理解等级:中级 结构图卡
  7. C4.5对ID3的三处修补 理解等级:中级 普通读书笔记卡
  8. CART为何用二叉树反复切分 理解等级:高级 普通读书笔记卡
  9. CART回归树用平方误差切分 理解等级:中级 普通读书笔记卡
  10. 决策树为何不要求特征缩放 理解等级:中级 普通读书笔记卡
  11. 预剪枝与后剪枝的代价 理解等级:高级 结构图卡
  12. 决策树的关键参数 理解等级:中级 操作参考卡
  13. 决策树的优缺点与集成基模型 理解等级:初级 普通读书笔记卡

07 第7章 Logistic回归

11 张卡片
  1. 线性回归套Sigmoid 理解等级:初级 普通读书笔记卡
  2. 对数几率:线性部分拟合的是什么 理解等级:中级 普通读书笔记卡
  3. 极大似然导出对数损失 理解等级:高级 普通读书笔记卡
  4. 为什么不用平方损失 理解等级:高级 普通读书笔记卡
  5. 梯度下降求解 理解等级:中级 普通读书笔记卡
  6. 用Softmax做多分类 理解等级:中级 普通读书笔记卡
  7. L1与L2正则 理解等级:中级 操作参考卡
  8. 类别不平衡的权重修正 理解等级:中级 普通读书笔记卡
  9. 用系数符号校验业务直觉 理解等级:中级 操作参考卡
  10. 建模前的数据准备 理解等级:中级 操作参考卡
  11. Logistic的适用边界 理解等级:初级 普通读书笔记卡

08 第8章 支持向量机

13 张卡片
  1. 感知机就是一个符号函数 理解等级:初级 普通读书笔记卡
  2. 损失只数误分类点的距离 理解等级:中级 普通读书笔记卡
  3. 错一个点就推一次超平面 理解等级:中级 结构图卡
  4. 把最近点的间隔推到最大 理解等级:中级 结构图卡
  5. 对偶解法让内积露出来 理解等级:高级 结构图卡
  6. 只有边界上的点决定超平面 理解等级:高级 普通读书笔记卡
  7. 给每个点一条可伸缩的边界 理解等级:中级 普通读书笔记卡
  8. 分对且够远才不罚 理解等级:中级 普通读书笔记卡
  9. 核函数不用真的映射到高维 理解等级:高级 结构图卡
  10. 核函数与C、σ²怎么选 理解等级:中级 普通读书笔记卡
  11. SMO每次只调两个乘子 理解等级:高级 延伸参考卡
  12. sklearn里的SVM怎么用 理解等级:初级 操作参考卡
  13. SVM和LR到底差在哪 理解等级:中级 普通读书笔记卡

09 第9章 随机森林

10 张卡片
  1. 集成学习只回答两个问题 理解等级:初级 普通读书笔记卡
  2. Bagging就是抽样加投票 理解等级:初级 结构图卡
  3. 平均为什么能降方差 理解等级:高级 延伸参考卡
  4. 随机森林的两层随机 理解等级:中级 结构图卡
  5. 袋外样本是免费的验证集 理解等级:中级 普通读书笔记卡
  6. 哪个特征最有用 理解等级:中级 普通读书笔记卡
  7. 比随机森林更随机的树 理解等级:中级 普通读书笔记卡
  8. 随机森林怎么调参 理解等级:初级 操作参考卡
  9. 0.85的准确率也可能没用 理解等级:中级 普通读书笔记卡
  10. 用叶子节点做特征交叉 理解等级:高级 普通读书笔记卡

10 第10章 AdaBoost

12 张卡片
  1. Boosting 靠串行纠错 理解等级:初级 普通读书笔记卡
  2. AdaBoost 的两套权重 理解等级:中级 结构图卡
  3. 重加权样本即可复用单模型 理解等级:中级 普通读书笔记卡
  4. 误差率决定投票权重 理解等级:中级 普通读书笔记卡
  5. 误分样本权重指数放大 理解等级:中级 普通读书笔记卡
  6. 集成输出的两种合成 理解等级:中级 普通读书笔记卡
  7. SAMME.R 用概率定票 理解等级:中级 普通读书笔记卡
  8. 回归版用相对误差 理解等级:中级 普通读书笔记卡
  9. 指数损失推出 AdaBoost 理解等级:高级 普通读书笔记卡
  10. AdaBoost 的调参入口 理解等级:中级 操作参考卡
  11. 三条训练曲线的读数 理解等级:中级 普通读书笔记卡
  12. 噪声敏感来自权重放大 理解等级:中级 普通读书笔记卡

11 第11章 提升树

14 张卡片
  1. 提升树是加法模型 理解等级:初级 普通读书笔记卡
  2. 平方损失把目标变成残差 理解等级:中级 普通读书笔记卡
  3. 残差迭代的训练循环 理解等级:中级 结构图卡
  4. 用负梯度替代残差 理解等级:高级 普通读书笔记卡
  5. GBDT 的一轮训练 理解等级:中级 结构图卡
  6. 步长缩减让逼近更细 理解等级:中级 普通读书笔记卡
  7. 做分类只换损失函数 理解等级:中级 普通读书笔记卡
  8. GBDT 调参四维度 理解等级:中级 操作参考卡
  9. 叶子编码做组合特征 理解等级:中级 操作参考卡
  10. 二阶展开加正则项 理解等级:高级 普通读书笔记卡
  11. 用增益给分裂打分 理解等级:高级 普通读书笔记卡
  12. 并行在特征粒度 理解等级:中级 普通读书笔记卡
  13. 剪枝缺失值与列抽样 理解等级:中级 普通读书笔记卡
  14. XGBoost 三类参数 理解等级:中级 操作参考卡

12 第12章 聚类

16 张卡片
  1. 聚类把样本分成紧密的簇 理解等级:初级 普通读书笔记卡
  2. K-Means 的分配与更新 理解等级:中级 结构图卡
  3. K 值为什么只能试出来 理解等级:中级 问题卡
  4. k-means++ 选初始中心 理解等级:中级 普通读书笔记卡
  5. K-Means 的适用边界 理解等级:中级 普通读书笔记卡
  6. K-Means调参的四个抓手 理解等级:中级 操作参考卡
  7. 层次聚类的合并与分裂 理解等级:初级 普通读书笔记卡
  8. 三种簇间距离改变合并顺序 理解等级:中级 普通读书笔记卡
  9. DBSCAN 的密度概念链 理解等级:中级 普通读书笔记卡
  10. DBSCAN 从种子长成簇 理解等级:中级 结构图卡
  11. DBSCAN 的形状自由与代价 理解等级:中级 普通读书笔记卡
  12. ε 一改,聚类全变 理解等级:中级 问题卡
  13. 谱聚类把聚类变成切图 理解等级:高级 普通读书笔记卡
  14. 谱聚类先降维再聚类 理解等级:中级 结构图卡
  15. GMM 用多个高斯拼出分布 理解等级:中级 普通读书笔记卡
  16. EM 抬高似然的下界 理解等级:高级 结构图卡

13 第13章 降维

15 张卡片
  1. 三种降维方法的分工 理解等级:初级 普通读书笔记卡
  2. 特征分解只对方阵有效 理解等级:中级 普通读书笔记卡
  3. SVD 把非方阵拆成三块 理解等级:中级 普通读书笔记卡
  4. 少数奇异值撑起整个矩阵 理解等级:中级 普通读书笔记卡
  5. PCA 找一条最能分开的轴 理解等级:初级 普通读书笔记卡
  6. PCA 的两条路通向同一解 理解等级:高级 普通读书笔记卡
  7. 主成分取几个才够 理解等级:中级 问题卡
  8. 核 PCA 先升维再线性降维 理解等级:中级 普通读书笔记卡
  9. PCA 的输出怎么读 理解等级:中级 操作参考卡
  10. LDA 让类间远类内近 理解等级:中级 普通读书笔记卡
  11. LDA 归结为一个瑞利熵 理解等级:高级 普通读书笔记卡
  12. LDA 与 PCA 的异同 理解等级:中级 普通读书笔记卡
  13. LDA 既能降维也能分类 理解等级:中级 操作参考卡
  14. LLE 保持邻域的线性关系 理解等级:中级 普通读书笔记卡
  15. LLE 先求权重再求坐标 理解等级:高级 结构图卡

14 第14章 Word2Vec和Doc2Vec词向量模型

11 张卡片
  1. 词向量让语义变成距离 理解等级:初级 普通读书笔记卡
  2. 词向量比one-hot强在哪 理解等级:初级 普通读书笔记卡
  3. CBOW与Skip-Gram方向相反 理解等级:中级 结构图卡
  4. 哈夫曼树把V分类降为logV 理解等级:高级 结构图卡
  5. 上下文求和得到投影向量 理解等级:中级 普通读书笔记卡
  6. 负采样把多分类变二分类 理解等级:中级 结构图卡
  7. Word2Vec的选型取舍 理解等级:中级 普通读书笔记卡
  8. Gensim训练词向量的参数 理解等级:初级 操作参考卡
  9. 词向量平均丢掉了词序 理解等级:初级 普通读书笔记卡
  10. Doc2Vec给文档一个向量 理解等级:中级 结构图卡
  11. Doc2Vec的Gensim用法 理解等级:初级 操作参考卡

15 第15章 深度神经网络模型

13 张卡片
  1. AI、ML、DL是层层包含 理解等级:初级 普通读书笔记卡
  2. 深度学习的三次高潮与低谷 理解等级:初级 结构图卡
  3. 单层感知机切不开异或 理解等级:中级 普通读书笔记卡
  4. 线性堆叠仍是线性 理解等级:中级 普通读书笔记卡
  5. 前向传播逐层算到输出 理解等级:中级 结构图卡
  6. 反向传播用链式法则回传误差 理解等级:高级 结构图卡
  7. 常用激活函数的取舍 理解等级:中级 普通读书笔记卡
  8. 梯度消失源于导数连乘 理解等级:中级 普通读书笔记卡
  9. 缓解梯度消失的几种手段 理解等级:中级 普通读书笔记卡
  10. 指数平均让近期权重更大 理解等级:中级 普通读书笔记卡
  11. 动量法与NAG的前瞻 理解等级:中级 普通读书笔记卡
  12. 从AdaGrad到RMSProp 理解等级:高级 普通读书笔记卡
  13. Adam融合动量与自适应 理解等级:中级 普通读书笔记卡

全书概览

机器学习基础:从入门到求职

评级:经典原理(信息浓度高 × 稳定性高)

评级理由:这本书的主体是经典机器学习模型的完整推导,而不是 API 手册。每个模型都按”假设什么函数—为什么用这个损失—怎么解出来”展开,且解释落到设计原因上:为什么线性回归用平方损失而不选绝对值(可导、放大大偏差、与欧氏距离一致),为什么朴素贝叶斯要加条件独立假设(参数量从 S^M 降到 K×M),为什么 SVM 要把函数间隔归一化后再最大化(缩放不变性使间隔可比),为什么 AdaBoost 的 α 取 ½ln((1−e)/e)(优于随机猜测者才拿到正权重)。这类论证不随框架版本变化,五到十年后仍是同一套推理,属于可长期复用的原理。

稳定性的折扣来自代码与工具链:scikit-learn 示例停在 2018 年前后的接口,数据集用波士顿房价(现已从 sklearn 移除),第 15 章的深度学习只讲到 MLP 与基本优化器,没有涉及 Batch Normalization 与残差连接。这些部分过时较快,但篇幅占比有限。浓度上的折扣则来自各章末尾的 API 演示与实例跑分,属低浓度内容,不影响主体判断。

Skill 版本:book-notes v24

执行模式:light

建档进度:done

全文阅读:spine 19 项;实质正文 16 项(前言、第1–15章,合计 150,766 个非空白字符),逐项完整读取,无抽样、无截断;非正文 3 项逐项排除(见下表)。

整书笔记:_book_note.md

覆盖记录:_coverage.md

工作流交接:_workflow.md

章节进度追踪表

章节号 章节标题 状态 卡片数
00 前言 done 4
01 第1章 机器学习概述 done 14
02 第2章 机器学习工程实践 done 14
03 第3章 线性回归 done 11
04 第4章 朴素贝叶斯 done 11
05 第5章 K近邻 done 10
06 第6章 决策树 done 13
07 第7章 Logistic回归 done 11
08 第8章 支持向量机 done 13
09 第9章 随机森林 done 10
10 第10章 AdaBoost done 12
11 第11章 提升树 done 14
12 第12章 聚类 done 16
13 第13章 降维 done 15
14 第14章 Word2Vec和Doc2Vec词向量模型 done 11
15 第15章 深度神经网络模型 done 13

非正文排除

spine项 类型 排除理由
OEBPS/text00000.html 扉页 仅书名与作者,73 个非空白字符,无正文
OEBPS/text00001.html 版权信息 内容简介、CIP 数据、出版发行与定价信息,属出版元数据;版本与 ISBN 已录入整书笔记 front matter
OEBPS/text00003.html 目录 纯目录链接(NCX 的 HTML 呈现),无独立论述;章节结构以 spine 与 NCX 为准

待关联术语

术语名 出现章节 一句话语境
— — 本书对提到的技术名词均作了解释;两处仅提名(第2章”GBDT 高阶特征映射”、第3章”CART 回归树”)均指向本书后续章节,不做外书登记

引用文献

标题 类型 出现章节 一句话语境
— — — 本书未对任何外部书、论文或开源项目作实质介绍,也未给出延伸阅读清单

资金安全问题案例

问题标题 问题卡 解决方案卡(如有) 出现章节 一句话说明
— — — — 本书不涉及转账、扣款、库存等资金安全场景

实践卡进度

序号 实践标题 实践方式 状态 关联章节 产出
1 给现有模型填三要素体检表 真实任务 done 第1章 ideas/idea-001-给现有模型填三要素体检表.md
2 单树与森林的方差实测 真实任务 done 第2章、第9章 ideas/idea-002-单树与森林的方差实测.md
3 中文文本分类走一遍 TF-IDF 真实任务 done 第4章 ideas/idea-003-中文文本分类走一遍TF-IDF.md

实践候选筛选:done

优先执行:第 1 张(三要素体检表)成本最低,不需要新数据与新环境,当天就能暴露”会用但说不清”的空洞;第 2 张(方差实测)次之,能把全书最抽象的一条结论变成可画出的曲线。

未采用候选与原因:第 8 章的”手推 SVM 对偶并验证 KKT”(书中推导完整,但手推属于复述而非实践,无法产生可检查的现实成果);第 12 章的”在真实业务数据上对比五种聚类”(缺少带参考答案的业务数据集,外部指标无法计算,只能得到无法证伪的簇数选择);第 13 章的”PCA 用于图像压缩并评估重构误差”(与第 2 张实验在方法上重复,都是”改一个变量看指标”,收益低于方差实测);第 15 章的”从零实现反向传播”(书中只给链式法则的直观解释,从零实现等于自造工程任务,与理解目标不成比例)。

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

暂无公开主题。