知识卡片
模型、策略、算法三要素
任何机器学习方法都由三部分构成,可以写成一句话:机器学习方法 = 模型 + 策略 + 算法。
三者的分工:
- 模型:把实际业务问题建模,转化为可以用数学量化表达的问题——也就是选定一族带参数的函数,见 [[模型是带参数的函数族]]。
- 策略:定义损失函数描述预测值与真实值之间的差距,把”哪个模型好”变成一个使损失函数最小化的优化问题。
- 算法:求解该最优化问题的方法。一般把问题化为无约束优化,再用梯度下降法、牛顿法等迭代求解。
为什么必须分开:同一个模型换一种损失,就是一个新的学习问题(平方损失引出最小二乘,对数损失引出 Logistic 回归);同一个损失换一种算法,只改变求解的效率和得到的解的质量,不改变问题本身。分开之后,改进才有明确落点——效果不好先看模型与策略,跑得太慢才看算法。
一个常见的说法错误是把机器学习叫作”机器学习算法”。机器学习整体偏模型,算法只是模型中用来求解优化问题的那一支;把两者等同,会导致讨论调参时混淆”改目标函数”和”改求解器”这两类完全不同的动作。后文的推导都按这个三段式展开:先写模型形式,再写损失,最后给迭代公式。
结构图:
flowchart LR
A[业务问题] --> B[模型:假设空间]
B --> C[策略:损失函数]
C --> D[最优化问题]
D --> E[算法:迭代求解]
E --> F[参数解]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第1章 机器学习概述 1.3 机器学习方法三要素 · 查看原书依据
模型就是对一个实际业务问题进行建模,将其转化为一个可以用数学来量化表达的问题。策略就是定义损失函数来描述预测值与理论值之间的差距,将其转化为一个使损失函数最小化的优化问题。
参考来源
- 位置:《机器学习基础:从入门到求职》第1章《第1章 机器学习概述》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00004.html)
- 结论依据:原文以"机器学习方法=模型+策略+算法"总起 1.3 节,并在小结中逐项说明三者含义,同时提醒不宜把机器学习称作"机器学习算法"。
- 原始内容:模型就是对一个实际业务问题进行建模,将其转化为一个可以用数学来量化表达的问题。策略就是定义损失函数来描述预测值与理论值之间的差距,将其转化为一个使损失函数最小化的优化问题。