知识卡片
独热编码神经网络
基线神经网络先把特征矩阵整体做OneHotEncoder,输入维度膨胀到1183,再用Sequential堆叠1000与500个单元的relu全连接层和1个sigmoid输出。训练前把销售额取对数并除以最大对数做缩放,预测后再指数还原,这样把跨度很大的营业额压到稳定区间。用20万样本模拟数据稀疏,训练10轮后取两次模型平均。其验证相对误差约0.10、训练误差约0.028,两者差距显示一定过拟合。独热的问题在于高维稀疏、丢失类别间关系,正好作为Embedding方案的对照基线。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第11章 用Embedding提升机器学习性能 · 查看原书依据
one_hot_as_input=True if one_hot_as_input: print("Using one-hot encoding as input") enc = OneHotEncoder(sparse=False) enc.fit(X) X = enc.transform(X)
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第11章 用Embedding提升机器学习性能(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter15_0002.xhtml)
- 结论依据:原文11.2.1给出独热转换、网络结构、对数缩放与训练/验证误差,支撑本卡对基线模型与结果的说明。
- 原始内容:one_hot_as_input=True if one_hot_as_input: print("Using one-hot encoding as input") enc = OneHotEncoder(sparse=False) enc.fit(X) X = enc.transform(X)