知识卡片

结构图卡 · 9823.m · 生成模型:DeepSeek-V4.1-Flash

交叉验证与网格搜索调参

理解等级:中级

模型选择有两条互补的路子:正则化从”模型复杂度”入手,交叉验证从”数据怎么用”入手。后者的动机很朴素——如果在训练集上挑模型,永远会挑到最会背训练集的那个;必须留出模型没见过的数据来裁判。

第一步:切分。原始数据分成训练集与测试集,测试集只在最后用一次。为了挑模型,再把训练集按比例(如 8∶2)切成”训练”与”验证”:用前者训练、后者打分,选出表现好的模型,然后用全量训练集重新训练,最后对测试集预测。要注意这个顺序:验证集参与的是选择,最终模型必须在更多数据上重训,否则白白浪费了那 20%。

第二步:S 折交叉验证。单次划分的评估结果受划分随机性影响太大,一次好运就可能选错模型。S 折的做法是:把训练集随机切成 S 个互不相交的子集,每次拿 S−1 份训练、剩下 1 份验证,轮换 S 次,取 S 次评估的平均误差最小的模型。每个样本都恰好当过一次验证集,评估结果稳定得多,代价是要训练 S 次。scikit-learn 里 cross_val_score(clf, x, y, cv=5) 一行即可,cv 就是 S,scoring 指定评估标准(不指定时用模型默认的 score)。

第三步:搜参数。参数选定范围后,网格搜索(GridSearchCV)是最直接的做法:把要调的参数放进字典,每个键是一个参数、值是该参数的候选列表,然后遍历所有组合,每组都用交叉验证打分,取最优。它的本质是暴力枚举,所以有两个明显代价:组合数随参数个数指数增长;参数连续取值时无法穷举。

因此有了随机搜索(RandomizedSearchCV):在参数分布上采样 n_iter 组(默认 10 组)来试。参数多或含连续参数时,随机搜索往往比网格搜索更划算——它不保证覆盖最优点,但能用有限预算探到足够好的区域。两者的接口几乎一致(param_grid 换成 param_distributions),refit=True 表示找到最优参数后用全量数据重训。

两个实操细节:scoring 要按业务选,比如 scoring='roc_auc' 就是用 AUC 寻优,选错指标会选出”指标好看但业务无用”的模型;n_jobs=-1 用满所有 CPU 核,否则几十组参数会跑很久。

结构图:

flowchart TD
    A[原始数据] --> B[切分训练集与测试集]
    B --> C[训练集切成 S 折]
    C --> D[遍历参数组合]
    D --> E[每组做 S 折交叉验证]
    E --> F[取平均误差最小的一组]
    F --> G[用全量训练集重训]
    G --> H[在测试集评估]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第2章《机器学习工程实践》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00005.html) - 结论依据:原文对比正则化与交叉验证两种模型选择思路,给出训练/验证/测试划分与 S 折交叉验证的操作,并说明 GridSearchCV 的暴力遍历与 RandomizedSearchCV 的采样寻优及其参数。 - 原始内容:另一种更为可靠的方法是S折交叉验证(S-fold Cross Validation),其基本操作是:首先随机地将原始训练集划分为 S 个相互无交集的数据子集,然后每次利用其中的S-1个子集数据作为训练集,剩下的那1个子集作为验证集