知识卡片
数据分析十问的闭环
十个问题可按阶段归组,顺序在迭代中可以打乱:
| 阶段 | 问题 | 要检查什么 |
|---|---|---|
| 定义 | 1 要回答的问题 | 问题多来自领域之外,需与专家合作;常是先有数据后有问题,于是进入探索性数据分析(EDA) |
| 取材 | 2 数据收集、3 数据含义 | 何地、何时、由谁、用什么设备收集,中途是否换人换设备;数值代表什么、是否测了该测的、哪些环节会错、需要什么假定 |
| 对齐 | 4 相关性、5 问题转化、6 可比性 | 数据能否回答原问题;把实质问题转成预测或推断问题并比较各转法的优劣;单元是否可比、是否独立、两列是否同一变量的副本 |
| 检查 | 7 可视化、8 随机性、9 稳定性 | 画一二维图看范围、缺失与异常(大脑皮层约30%用于处理图像,建模后看残差尤其有效);p 值与置信区间都依赖随机性,须说明随机性从何而来;换方法、加扰动后结论是否仍成立 |
| 收口 | 10 结果验证 | 用什么标准判断分析做得好,能否用其他数据或先验知识验证 |
这张表的价值不在背十条,而在知道每一步都可能把结论带偏。
结构图:
flowchart TD
A["1 要回答的问题"] --> B["2 数据收集"]
B --> C["3 数据含义与 4 相关性"]
C --> D["5 问题转化"]
D --> E["6 可比性与 7 可视化"]
E --> F["8 随机性与 9 稳定性"]
F --> G["10 结果验证"]
G --> A
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第1章 概述
原书出处 · 1 处
- 第1章 概述 · 查看原书依据
这些问题也许无法详尽、彻底地解释“数据智慧”,但是它们体现了“数据智慧”的一些特点。 1.要回答的问题 数据科学问题最初往往来自统计学或者数据科学以外的学科。
参考来源
- 位置:《大数据挖掘与统计机器学习》第1章 概述(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter3_0003.xhtml,1.3 数据智慧)
- 结论依据:原文完整列出郁彬提出的十个问题,并说明它们按一定顺序排列、但在反复迭代中可以打乱。
- 原始内容:这些问题也许无法详尽、彻底地解释“数据智慧”,但是它们体现了“数据智慧”的一些特点。 1.要回答的问题 数据科学问题最初往往来自统计学或者数据科学以外的学科。