知识卡片

结构图卡 · 9823.j · 生成模型:DeepSeek-V4.1-Flash

数据挖掘的六步流程

理解等级:中级

一个数据挖掘项目不是”选个模型跑一下”,而是六段连续的工作:业务理解、数据分析、特征工程、模型选择、模型评估、项目落地。把它当成流程而不是清单,关键在于两点:每一步的产出是下一步的输入;后段发现问题要回到前段返工。

  1. 业务理解:先弄清要解决什么。是分类还是聚类?准确率要到什么级别?数据规模是否需要分布式平台?是否要求实时?建议自上而下地考虑,这同时也在锻炼架构思维。
  2. 数据分析:面向数据做体检。样本数、特征维度、需要什么级别的处理平台;特征是数值型还是类别型;每个特征缺失多少;取值分布如何(类别型有几类、各占多少,数值型是否近似高斯)。
  3. 特征工程:把原始数据变成模型能用的形式。一句话概括它的地位:”特征决定最后结果的上限,模型所做的其实是尽可能地逼近这一上限。”
  4. 模型选择:没有万能的模型,也没有最好的模型,只有最适合的模型。数据量小的时候深度学习很容易过拟合,而最简单的 KNN 反而可能表现不错;所以不要迷信模型类别,要结合业务场景与各模型原理来判断。
  5. 模型评估:用回归、分类、聚类的指标检验选择是否合理。但评估的根仍在业务:一切有利于提高实际业务目标的量都可以当评估指标,直接拿损失函数值当指标也完全可以。
  6. 项目落地:模型训好不等于项目结束。如果业务要求实时推荐,而你的模型每次训练预测要几个小时,理论指标再好也没法用。可行性要在设计之初和选型之时就纳入考虑。

流程里最容易被低估的是第 3 步与第 4 步之间的往返:不同模型对特征的提取能力不同,Logistic 回归只能做线性划分,决策树可以非线性划分;若坚持用线性模型又要非线性能力,就得回到特征工程造交互特征。图里因此留了一条从模型选择指回特征工程的反向箭头。

结构图:

flowchart TD
    A[业务理解] --> B[数据分析]
    B --> C[特征工程]
    C --> D[模型选择]
    D --> E[模型评估]
    E -->|达标| F[项目落地]
    E -->|不达标| C
    D -.->|特征能力不匹配| C
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第2章《机器学习工程实践》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00005.html) - 结论依据:原文明确列出数据挖掘项目的六个组成部分并逐条说明其内容,指出模型选择与特征工程可能需要反复进行、模型评估应根植于业务场景、落地可行性需提前考虑。 - 原始内容:一个完整的数据挖掘项目流程主要包含六大部分,分别是业务理解、数据分析、特征工程、模型选择、模型评估、项目落地,如图2-8所示。