知识卡片
产出四类意义缺为什么
大数据工作流末端产出的报表、数字、图像或结论,从结果意义上可归为四类。计划预测:对未来的预估推断,回归、分类都属此类,解答”是什么”的问题(预测结果是什么数值或类别)。结论定义:对现在或过去的结果做判断,评估是否符合预期或存在异常,异常检测属此类,解答”是什么”和”怎么样”的问题。规则提取:从数据中提取频繁规则来指导业务实践,频繁项集属此类,解答”是什么”和”怎么办”的问题。探索性知识:在没有明确先导结论时围绕某主题做探索性挖掘,聚类属此类,解答”是什么”的问题。但这四类意义里,恰恰缺了一个最常被业务方追问、也最重要的类型——”为什么”,即到底是哪些因素导致了某个结论、各因素的因果联系程度如何。书中举例:某公司昨日订单量增加15万单,到底是流量质量好、促销策划合理、页面体验好还是商品折扣高导致的?大数据通常很难解答这类问题,原因有二:一是无法通过多变量测试来控制单一因素,因为业务场景已经发生、环境要素都在同时变化,无法针对全局样本重新做对照实验;二是像”流程合理性”“页面体验友好度”这类属性本身很难被客观量化,连专家打分法也难以给出可信解释,量化的第一步就卡住了。这说明大数据擅长回答”发生了什么、会发生什么、该怎么办”,但对”根本原因是什么”这类因果推断问题,天生存在方法论上的局限。
结构图:
flowchart TB
A["大数据产出的四类意义"]
A --> B["计划预测:是什么<br/>回归/分类"]
A --> C["结论定义:是什么+怎么样<br/>异常检测"]
A --> D["规则提取:是什么+怎么办<br/>频繁项集"]
A --> E["探索性知识:是什么<br/>聚类"]
F["缺失的第五类:为什么<br/>因果归因,大数据难以解答"]
A -.对比.-> F
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《企业大数据系统构建实战:技术、架构、实施与应用》第12章《大数据当前问题及挑战》"12.3 价值挑战"之"大数据到底能带来什么?"(源文件:_epub-src/OEBPS/text00178.html)
- 结论依据:原文说明"但上述意义中,少了一类典型且非常重要的意义类型,那就是'为什么'……大数据通常很难解答这一类的问题,而这一类的问题是几乎所有公司都会遇到的疑问",并说明多变量测试和降维分析两种常见补救思路各自的局限性,直接支撑本卡结构图。
- 原始内容:但上述意义中,少了一类典型且非常重要的意义类型,那就是"为什么"。"为什么"指的是到底是哪些因素导致结论的发生……大数据通常很难解答这一类的问题,而这一类的问题是几乎所有公司都会遇到的疑问