知识卡片
只留最本质的预测因子
模型规划阶段的探索目标与数据准备阶段不同:那里关心数据卫生与质量,这里关心变量之间的关系,用来决定选哪些变量、用哪类方法。
关键是抓住最本质的预测因子,而不是把“人们认为可能影响结果”的变量全部塞进模型。变量越多,过拟合、共线性与解释困难越严重;正确做法是先列一批候选变量做测试,再收敛到少数最有解释力或预测力的变量。
若计划做回归,要明确结果变量与候选预测因子,并让预测因子与结果强关联、彼此之间弱关联。同时警惕序列相关、多重共线性等典型问题,有时重塑问题本身就能绕开它们。
还要先分清目的:只要相关性时,模型可以是黑盒预测;要理解因果时,模型必须有解释力,并用不同数据集做压力测试,检验结论在其他情形下是否成立。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第2章 数据分析生命周期 · 查看原书依据
这种方法的关键是捕捉最本质的预测因子(predictor)和变量,而不是考虑人们认为可能影响到结果的每一个变量。以这种方式着手处理问题需要迭代和测试来识别最本质的用于分析的变量。团队应该计划测试在模型中的一系列变量,然后专注于最重要和最具影响力的变量。
参考来源
- 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第2章 数据分析生命周期(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0012_split_004.html)
- 结论依据:依据 2.4.1 节关于变量选择、捕捉本质预测因子、多重共线性警惕与“黑盒预测”和因果解释之分的论述。
- 原始内容:这种方法的关键是捕捉最本质的预测因子(predictor)和变量,而不是考虑人们认为可能影响到结果的每一个变量。以这种方式着手处理问题需要迭代和测试来识别最本质的用于分析的变量。团队应该计划测试在模型中的一系列变量,然后专注于最重要和最具影响力的变量。