知识卡片
数据挖掘的六步流程
一个数据挖掘项目不是”选个模型跑一下”,而是六段连续的工作:业务理解、数据分析、特征工程、模型选择、模型评估、项目落地。把它当成流程而不是清单,关键在于两点:每一步的产出是下一步的输入;后段发现问题要回到前段返工。
- 业务理解:先弄清要解决什么。是分类还是聚类?准确率要到什么级别?数据规模是否需要分布式平台?是否要求实时?建议自上而下地考虑,这同时也在锻炼架构思维。
- 数据分析:面向数据做体检。样本数、特征维度、需要什么级别的处理平台;特征是数值型还是类别型;每个特征缺失多少;取值分布如何(类别型有几类、各占多少,数值型是否近似高斯)。
- 特征工程:把原始数据变成模型能用的形式。一句话概括它的地位:”特征决定最后结果的上限,模型所做的其实是尽可能地逼近这一上限。”
- 模型选择:没有万能的模型,也没有最好的模型,只有最适合的模型。数据量小的时候深度学习很容易过拟合,而最简单的 KNN 反而可能表现不错;所以不要迷信模型类别,要结合业务场景与各模型原理来判断。
- 模型评估:用回归、分类、聚类的指标检验选择是否合理。但评估的根仍在业务:一切有利于提高实际业务目标的量都可以当评估指标,直接拿损失函数值当指标也完全可以。
- 项目落地:模型训好不等于项目结束。如果业务要求实时推荐,而你的模型每次训练预测要几个小时,理论指标再好也没法用。可行性要在设计之初和选型之时就纳入考虑。
流程里最容易被低估的是第 3 步与第 4 步之间的往返:不同模型对特征的提取能力不同,Logistic 回归只能做线性划分,决策树可以非线性划分;若坚持用线性模型又要非线性能力,就得回到特征工程造交互特征。图里因此留了一条从模型选择指回特征工程的反向箭头。
结构图:
flowchart TD
A[业务理解] --> B[数据分析]
B --> C[特征工程]
C --> D[模型选择]
D --> E[模型评估]
E -->|达标| F[项目落地]
E -->|不达标| C
D -.->|特征能力不匹配| C
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第2章 机器学习工程实践 2.3.1 数据挖掘项目流程 · 查看原书依据
一个完整的数据挖掘项目流程主要包含六大部分,分别是业务理解、数据分析、特征工程、模型选择、模型评估、项目落地,如图2-8所示。
参考来源
- 位置:《机器学习基础:从入门到求职》第2章《机器学习工程实践》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00005.html)
- 结论依据:原文明确列出数据挖掘项目的六个组成部分并逐条说明其内容,指出模型选择与特征工程可能需要反复进行、模型评估应根植于业务场景、落地可行性需提前考虑。
- 原始内容:一个完整的数据挖掘项目流程主要包含六大部分,分别是业务理解、数据分析、特征工程、模型选择、模型评估、项目落地,如图2-8所示。