来源书籍

机器学习算法的数学解析与Python实现

Skill 版本:v24 经典原理 85 张卡片

全书通过平方残差、对数似然、纯度、间隔、质心与梯度说明模型为何能工作。书中的安装版本、接口截图和当年案例会随工具变化,公式、目标和适用条件仍可迁移。

莫凡 · 机械工业出版社 · 2020 · ISBN 978-7-111-64260-2

章节与卡片

01 机器学习概述

12 张卡片
  1. 深度学习源自神经网络 理解等级:初级 普通读书笔记卡
  2. 按任务决定学习深度 理解等级:中级 普通读书笔记卡
  3. 训练拟合不等于泛化 理解等级:中级 普通读书笔记卡
  4. 特征矩阵按样本排布 理解等级:初级 普通读书笔记卡
  5. 损失从样本汇总到目标 理解等级:中级 普通读书笔记卡
  6. 模型是学得的输入映射 理解等级:初级 普通读书笔记卡
  7. 梯度下降沿局部斜率走 理解等级:中级 普通读书笔记卡
  8. 随机梯度用样本估方向 理解等级:中级 普通读书笔记卡
  9. 标签决定监督任务 理解等级:初级 普通读书笔记卡
  10. 查准率与召回率的分母 理解等级:中级 普通读书笔记卡
  11. 模型优劣依赖任务 理解等级:中级 普通读书笔记卡
  12. 特征限制可学的信息 理解等级:中级 普通读书笔记卡

02 机器学习所需的环境

6 张卡片
  1. 用算法库缩短反馈 理解等级:中级 普通读书笔记卡
  2. Python缩进划分代码 理解等级:初级 操作参考卡
  3. 安装依赖后才能导入 理解等级:初级 操作参考卡
  4. 数组形状决定运算 理解等级:初级 操作参考卡
  5. 先拟合再预测 理解等级:初级 操作参考卡
  6. pandas整理表格 理解等级:初级 操作参考卡

03 线性回归算法

7 张卡片
  1. 任务与模型分开选择 理解等级:初级 普通读书笔记卡
  2. 权重和截距改变直线 理解等级:中级 普通读书笔记卡
  3. 加权和是向量内积 理解等级:初级 普通读书笔记卡
  4. 平方残差定义拟合目标 理解等级:中级 普通读书笔记卡
  5. 范数与参数惩罚 理解等级:中级 普通读书笔记卡
  6. 单列特征仍需二维输入 理解等级:初级 操作参考卡
  7. 线性拟合取决于数据 理解等级:中级 普通读书笔记卡

04 Logistic回归分类算法

7 张卡片
  1. 二元判断可组成分类树 理解等级:中级 普通读书笔记卡
  2. S形函数连接得分与概率 理解等级:中级 普通读书笔记卡
  3. 分类输出有三种表示 理解等级:初级 普通读书笔记卡
  4. 交叉熵惩罚错得自信 理解等级:中级 普通读书笔记卡
  5. 似然乘积取对数求和 理解等级:中级 普通读书笔记卡
  6. L1和L2的系数约束 理解等级:中级 普通读书笔记卡
  7. 分类基线提供比较尺度 理解等级:中级 普通读书笔记卡

05 KNN分类算法

7 张卡片
  1. 特征选择改变邻居 理解等级:中级 普通读书笔记卡
  2. 近邻以局部标签投票 理解等级:初级 普通读书笔记卡
  3. 邻居数量控制局部性 理解等级:中级 普通读书笔记卡
  4. 闵可夫斯基距离可调阶数 理解等级:中级 普通读书笔记卡
  5. 固定数量与半径选邻居 理解等级:中级 操作参考卡
  6. 近邻推断承担检索成本 理解等级:中级 普通读书笔记卡
  7. 字符识别先提取特征 理解等级:初级 普通读书笔记卡

06 朴素贝叶斯分类算法

7 张卡片
  1. 相关性可预测但需验证 理解等级:中级 普通读书笔记卡
  2. 条件概率改变参照集合 理解等级:初级 普通读书笔记卡
  3. 先验乘似然更新后验 理解等级:中级 普通读书笔记卡
  4. 条件独立分解似然 理解等级:中级 普通读书笔记卡
  5. 最大后验要保留先验 理解等级:中级 普通读书笔记卡
  6. 最大似然选择分布参数 理解等级:中级 普通读书笔记卡
  7. 特征类型决定贝叶斯变体 理解等级:中级 操作参考卡

07 决策树分类算法

9 张卡片
  1. 叶节点汇总沿途条件 理解等级:初级 普通读书笔记卡
  2. 决策树从数据选条件 理解等级:中级 普通读书笔记卡
  3. 剪枝约束树的复杂度 理解等级:中级 普通读书笔记卡
  4. 树在节点递归寻优 理解等级:中级 普通读书笔记卡
  5. 熵衡量节点类别混杂 理解等级:中级 普通读书笔记卡
  6. 信息增益按子集规模加权 理解等级:中级 普通读书笔记卡
  7. 增益率抑制细碎切分 理解等级:中级 普通读书笔记卡
  8. 基尼度量类别混杂 理解等级:中级 普通读书笔记卡
  9. 树的选择标准可以替换 理解等级:初级 操作参考卡

08 支持向量机分类算法

7 张卡片
  1. 软间隔允许部分违规 理解等级:中级 普通读书笔记卡
  2. 支持向量决定分界 理解等级:中级 普通读书笔记卡
  3. 特征映射改变分界形状 理解等级:中级 普通读书笔记卡
  4. 核函数直接算高维内积 理解等级:中级 普通读书笔记卡
  5. 最大间隔取最近点 理解等级:中级 普通读书笔记卡
  6. 对偶形式显露成对内积 理解等级:高级 普通读书笔记卡
  7. 按任务选择支持向量估计器 理解等级:初级 操作参考卡

09 K-means聚类算法

9 张卡片
  1. 聚类可辅助构造伪标签 理解等级:中级 普通读书笔记卡
  2. 簇数是分析设定 理解等级:中级 普通读书笔记卡
  3. 质心是簇内逐维均值 理解等级:初级 普通读书笔记卡
  4. K均值交替分配和更新 理解等级:中级 普通读书笔记卡
  5. 平方距离目标导出均值 理解等级:中级 普通读书笔记卡
  6. 簇编号只表示成员归属 理解等级:初级 操作参考卡
  7. 小批量更新减少计算 理解等级:中级 普通读书笔记卡
  8. 密度定义聚类结构 理解等级:中级 普通读书笔记卡
  9. 初始化和离群点改变聚类 理解等级:中级 普通读书笔记卡

10 神经网络分类算法

6 张卡片
  1. 神经元把加权和再变换 理解等级:初级 普通读书笔记卡
  2. 非线性让层组合有用 理解等级:中级 普通读书笔记卡
  3. 前向传播逐层计算 理解等级:初级 普通读书笔记卡
  4. 激活函数改变梯度流 理解等级:中级 普通读书笔记卡
  5. 反向传播复用链式法则 理解等级:中级 普通读书笔记卡
  6. 任务决定MLP输出接口 理解等级:初级 操作参考卡

11 集成学习方法

7 张卡片
  1. 基学习器是集成的成员 理解等级:初级 普通读书笔记卡
  2. 集成需要互补错误 理解等级:中级 普通读书笔记卡
  3. 集成区分训练与聚合 理解等级:中级 普通读书笔记卡
  4. 有放回采样制造成员差异 理解等级:中级 普通读书笔记卡
  5. 提升逐轮修正现有模型 理解等级:中级 普通读书笔记卡
  6. 堆叠用模型预测当特征 理解等级:中级 普通读书笔记卡
  7. 随机森林聚合随机化树 理解等级:中级 操作参考卡

00 前言

1 张卡片
  1. 先理解模型再学习数学 理解等级:初级 普通读书笔记卡

全书概览

机器学习算法的数学解析与Python实现

Skill 版本:v24 执行模式:light 建档进度:done 整书笔记 四象限评级:经典原理

信息浓度:高

稳定性:高

优先级:P4

理由:全书通过平方残差、对数似然、纯度、间隔、质心与梯度说明模型为何能工作。书中的安装版本、接口截图和当年案例会随工具变化,公式、目标和适用条件仍可迁移。

章节进度追踪表

章节号 章节标题 状态 卡片数
前言 前言 done 1
01 机器学习概述 done 12
02 机器学习所需的环境 done 6
03 线性回归算法 done 7
04 Logistic回归分类算法 done 7
05 KNN分类算法 done 7
06 朴素贝叶斯分类算法 done 7
07 决策树分类算法 done 9
08 支持向量机分类算法 done 7
09 K-means聚类算法 done 9
10 神经网络分类算法 done 6
11 集成学习方法 done 7

各章下的 122 个 EPUB 正文项,以及相应位置和候选去向见 阅读覆盖。

实践卡进度

序号 实践标题 实践方式 状态(pending/done) 关联章节 产出
001 跟踪 K-means 的分配更新 实现深读 done 09 实践卡,版本、入口和首轮映射
002 查看堆叠怎样生成折外特征 实现深读 done 11 实践卡,版本、入口和首轮映射

实践候选筛选:done 线性模型手写练习暂缓,书中解析与短算例已能说明目标函数。鸢尾花接口复现并入折外评估计划,避免重复跑训练集示例。

非正文排除

spine项 类型 排除理由
id_1 版权 标题、出版机构、ISBN 和权利信息
id_2 目录 章节导航

待关联术语

术语名 出现章节 一句话语境
MD5 007 作为固定程序行为的对照例子
牛顿法 010 列举优化方法
拟牛顿法 010 列举优化方法
共轭梯度法 010 列举优化方法
区块链共识 012 用作近邻表决的顺带类比,未解释共识协议
区块链共识 053 作为表决类比被提及,书中未展开协议
Softmax 042 作为多分类的常见函数被提名
LR-FTRL 049 作为点击预测中的变体被提及
KDTree 059 只列为邻居检索相关类
BallTree 059 只列为邻居检索相关类
黑天鹅事件 062 作为不确定性的引子出现
马尔可夫链 067 作为另一类简化假设例子被提及
XGBoost 072 作为基于树模型的集成方法被提名
LightGBM 072 作为基于树模型的集成方法被提名
ExtraTree 080 介绍带随机候选的树变体,条目保存于本节笔记
Kinect 081 作为人体动作识别设备的应用例子
SMO 088 作为支持向量机对偶二次规划的求解算法被提到
QVM 091 作为支持向量分类的商业案例被提及,书中内部机制为推测
层次聚类 095 作为划分类之外的聚类类别提及
网格聚类 095 作为划分类之外的聚类类别提及
AffinityPropagation 101 原节列为聚类库方法,流程归类有误,待专题补充
M-P 模型 104 作为早期人工神经元模型提及
卷积层 109 列为深度网络常见部件
池化层 109 列为深度网络常见部件
全连接层 109 列为沿用的网络部件
BernoulliRBM 113 作为同包估计器被列出
Kaggle 117 作为竞赛平台被提名
天池 117 作为竞赛平台被提名

引用文献

标题 类型 出现章节 一句话语境
Scikit-Learn 文档 框架 006 采用该文档的数学表达习惯
Matplotlib 框架 038 例子导入 pyplot 绘制散点,未展开库的结构
纯粹理性批判 书 065 作为先验与后验的词义背景提及
PyTorch 框架 105 举作线性变换接激活的实现例子

资金安全问题案例

问题标题 问题卡 解决方案卡(如有) 出现章节 一句话说明

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

暂无公开主题。