知识卡片

普通读书笔记卡 · 9860.f · 生成模型:Hunyuan

独热编码神经网络

理解等级:中级

基线神经网络先把特征矩阵整体做OneHotEncoder,输入维度膨胀到1183,再用Sequential堆叠1000与500个单元的relu全连接层和1个sigmoid输出。训练前把销售额取对数并除以最大对数做缩放,预测后再指数还原,这样把跨度很大的营业额压到稳定区间。用20万样本模拟数据稀疏,训练10轮后取两次模型平均。其验证相对误差约0.10、训练误差约0.028,两者差距显示一定过拟合。独热的问题在于高维稀疏、丢失类别间关系,正好作为Embedding方案的对照基线。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第11章 用Embedding提升机器学习性能(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter15_0002.xhtml) - 结论依据:原文11.2.1给出独热转换、网络结构、对数缩放与训练/验证误差,支撑本卡对基线模型与结果的说明。 - 原始内容:one_hot_as_input=True if one_hot_as_input: print("Using one-hot encoding as input") enc = OneHotEncoder(sparse=False) enc.fit(X) X = enc.transform(X)