知识卡片
建模前的数据准备
泰坦尼克号数据(891 条训练样本、12 个特征)是一份典型的”脏”表格,处理顺序本身值得当作模板。
1. 先看缺失画像,再决定处置方式(不要一律填充)
- 缺失太多的列直接删。
Cabin只有 204 条非空,剩下的信息量不足以支撑建模,强行填充等于灌入大量噪声。 - 重要且可预测的列做填充。
Age与是否获救强相关(儿童优先),丢掉会损失关键信号,用随机森林基于其他特征预测填补。 - 缺失极少的样本直接删行。
Embarked训练集只缺 2 条、测试集不缺,删掉这 2 行代价可忽略。
2. 特征处理按类型分流
- 文本/高基数且暂不使用的列先剔除:
Name、Ticket(信息杂乱,后续可另做特征工程)。 - 类别列做 one-hot:
Pclass、Sex、Embarked。名义类别之间没有大小关系,编码成 0/1/2 会让模型误以为存在序。 - 数值列标准化:
Age、SibSp、Parch、Fare取值范围差异大,标准化后梯度下降收敛更快、正则惩罚也更公平(见 [[L1与L2正则]])。
处理后剩 889 条样本、9 个特征,且无缺失。
3. 训练与评估
用默认参数的 Logistic 回归即可拿到 AUC 0.81 以上,再看查准率、查全率、F1 与混淆矩阵。不平衡或代价不对称时不要只看准确率(见 [[类别不平衡的权重修正]])。
4. 测试集复用同一套变换
这是最容易出错的一步:测试集要复用训练集算出的填充值、one-hot 列顺序、标准化均值与方差,绝不能各自重算。否则训练与预测的特征空间不一致,线上效果会莫名其妙地掉。测试集处理流程与训练集一致,只是所有参数都从训练集继承。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第7章 Logistic回归 第7章 Logistic回归 · 查看原书依据
Pclass特征、Sex特征和Embarked特征是类别型,一般需要先将其进行one-hot编码;Age特征、SibSp特征、Parch特征和Fare特征为数值型特征,取值变化范围较大,一般最好将其先标准化。
参考来源
- 位置:《机器学习基础:从入门到求职》第7章《Logistic回归》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00010.html)
- 结论依据:原文按"查看数据—缺失值处理—特征处理—模型训练—结果分析—测试集预测"六步展开,说明 Cabin 缺失多故舍弃、Age 重要故随机森林填充、Embarked 缺 2 条故删行,并对类别特征做 one-hot、数值特征做标准化。
- 原始内容:Pclass特征、Sex特征和Embarked特征是类别型,一般需要先将其进行one-hot编码;Age特征、SibSp特征、Parch特征和Fare特征为数值型特征,取值变化范围较大,一般最好将其先标准化。