知识卡片
CRISP-DM六步骤
CRISP-DM是目前数据挖掘领域应用最广泛、接受度最高的流程标准,把建模标准拆成六步。商业理解:从商业角度理解项目的目标和要求,转化成数据问题并制定初步计划,需明确目标、要求、内涵、范围、时间、结果类型。数据理解:从原始数据集出发做数据可行性研究,确定数据源、范围、状态,摸清数据类型、极值、均值、标准差、分布规律等基本特征。数据准备:按数据理解阶段的要求做实际清洗,规范极值/异常值/缺失值的修复策略、抽样方法、类型格式转换规则,为建模准备好数据。建模:选择建模技术并对参数调优以达到最优拟合,需要规范应用场景与算法类型的匹配关系、算法细化方式、参数调优方法——参数调优被认为是最具知识含量、最需要规范和沉淀的环节。评估:在发布前把关,从用户满意度、数据模型质量(拟合程度、显著程度)、技术可用性(效率、并发量、响应时间)三个标准衡量,确保拟合结果真正符合业务目标而不只是数学上拟合得好。发布:模型进入实际应用或部署阶段,同时也是下一轮迭代优化的起点——模型优化本身就是一个循环往复、没有终点的过程。
结构图:
flowchart LR
A["①商业理解<br/>目标转化为数据问题"] --> B["②数据理解<br/>摸清数据基本特征"]
B --> C["③数据准备<br/>清洗+抽样+转换规则"]
C --> D["④建模<br/>算法选型+参数调优"]
D --> E["⑤评估<br/>用户满意度+模型质量+技术可用性"]
E --> F["⑥发布<br/>部署上线,同时是下一轮迭代起点"]
F -.循环.-> A
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《企业大数据系统构建实战:技术、架构、实施与应用》第8章《大数据工作流》"8.6.3 数据质量建设的框架"之"数据建模标准"(源文件:_epub-src/OEBPS/text00127.html)
- 结论依据:原文说明"CRISP-DM模型是目前数据挖掘领域应用最广泛、接受程度最高的挖掘流程标准,该标准将数据挖掘过程分六个步骤",并逐一展开商业理解、数据理解、数据准备、建模、评估、发布六个阶段各自的规范要点,直接支撑本卡结构图。
- 原始内容:CRISP-DM模型是目前数据挖掘领域应用最广泛、接受程度最高的挖掘流程标准,该标准将数据挖掘过程分六个步骤……数据模型的发布既是一个模型的阶段性结束,又是下一次调整的开始。模型优化是一个循序渐进的过程