知识卡片
经验化分析的维度诅咒
内容
经验化分析依赖分析师的先验知识手动拆解维度、排列组合交叉项,但人能同时理解的维度通常不超过3个,超过就难以判断哪些交互是真实信号、哪些只是巧合。这导致经验化分析的成本随维度数量指数级增长,得到的多是定性趋势而非量化结论,也很难剥离其他因素的干扰,在维度多、交互复杂的问题上会迅速变得低效且不可靠。
参考来源
- 位置:《数据科学工程实践》第4章《使用体系化分析方法进行场景挖掘》"4.1.1 经验化分析的局限性"一节(源文件:_epub-src/OEBPS/Text/part0022.xhtml)
- 结论依据:原文明确"经验化分析依赖数据分析师较强的先验和业务理解……很难进行不同维度及相关指标交互效应的分析,且需要投入很大的成本过滤各种无效的交互场景……人所能理解的维度非常有限,通常,3个以上维度的交互考察就超出了我们所能理解的范围,因此我们说经验化分析是低效且高成本的",并总结其"无法很好地量化,得到的多为趋势和定性结论"。
- 原始内容:经验化分析依赖数据分析师较强的先验和业务理解,根据先验知识,使用可视化、数值统计等简单方式获取一些结果。但这种分析方式很难进行不同维度及相关指标交互效应的分析,且需要投入很大的成本过滤各种无效的交互场景……人所能理解的维度非常有限,通常,3个以上维度的交互考察就超出了我们所能理解的范围,因此我们说经验化分析是低效且高成本的。