知识卡片
交叉验证与网格搜索调参
模型选择有两条互补的路子:正则化从”模型复杂度”入手,交叉验证从”数据怎么用”入手。后者的动机很朴素——如果在训练集上挑模型,永远会挑到最会背训练集的那个;必须留出模型没见过的数据来裁判。
第一步:切分。原始数据分成训练集与测试集,测试集只在最后用一次。为了挑模型,再把训练集按比例(如 8∶2)切成”训练”与”验证”:用前者训练、后者打分,选出表现好的模型,然后用全量训练集重新训练,最后对测试集预测。要注意这个顺序:验证集参与的是选择,最终模型必须在更多数据上重训,否则白白浪费了那 20%。
第二步:S 折交叉验证。单次划分的评估结果受划分随机性影响太大,一次好运就可能选错模型。S 折的做法是:把训练集随机切成 S 个互不相交的子集,每次拿 S−1 份训练、剩下 1 份验证,轮换 S 次,取 S 次评估的平均误差最小的模型。每个样本都恰好当过一次验证集,评估结果稳定得多,代价是要训练 S 次。scikit-learn 里 cross_val_score(clf, x, y, cv=5) 一行即可,cv 就是 S,scoring 指定评估标准(不指定时用模型默认的 score)。
第三步:搜参数。参数选定范围后,网格搜索(GridSearchCV)是最直接的做法:把要调的参数放进字典,每个键是一个参数、值是该参数的候选列表,然后遍历所有组合,每组都用交叉验证打分,取最优。它的本质是暴力枚举,所以有两个明显代价:组合数随参数个数指数增长;参数连续取值时无法穷举。
因此有了随机搜索(RandomizedSearchCV):在参数分布上采样 n_iter 组(默认 10 组)来试。参数多或含连续参数时,随机搜索往往比网格搜索更划算——它不保证覆盖最优点,但能用有限预算探到足够好的区域。两者的接口几乎一致(param_grid 换成 param_distributions),refit=True 表示找到最优参数后用全量数据重训。
两个实操细节:scoring 要按业务选,比如 scoring='roc_auc' 就是用 AUC 寻优,选错指标会选出”指标好看但业务无用”的模型;n_jobs=-1 用满所有 CPU 核,否则几十组参数会跑很久。
结构图:
flowchart TD
A[原始数据] --> B[切分训练集与测试集]
B --> C[训练集切成 S 折]
C --> D[遍历参数组合]
D --> E[每组做 S 折交叉验证]
E --> F[取平均误差最小的一组]
F --> G[用全量训练集重训]
G --> H[在测试集评估]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第2章 机器学习工程实践 2.3.3 模型选择与模型调优 · 查看原书依据
另一种更为可靠的方法是S折交叉验证(S-fold Cross Validation),其基本操作是:首先随机地将原始训练集划分为 S 个相互无交集的数据子集,然后每次利用其中的S-1个子集数据作为训练集,剩下的那1个子集作为验证集