← 返回刚才阅读的位置

知识卡片

结构图卡 · 9859.b · 生成模型:Hunyuan

特征处理流程总览

理解等级:中级

结构图把项目拆成六个环节:CSV数据经Pandas成为dataframe,再拆为训练、验证、测试集;df_to_dataset把dataframe转成tf.data流水线完成乱序与分批;一个批次样本进入特征列集合,分别经过数值列、分桶列、独热列、嵌入列、哈希列与组合列的转换;被选中的特征列由DenseFeatures层封装成Keras输入层;随后送入三层全连接网络;最后编译、训练、可视化并用测试集评估。读图的关键是看清列的处理方式与网络的层结构是两条并行主线,前者决定信息如何表达,后者决定如何拟合。

结构图:

classDiagram
    class CSVData {
        +pandasDataframe
        +heart.csv
    }
    class Split {
        +train
        +val
        +test
    }
    class TFDataPipeline {
        +df_to_dataset()
        +shuffle
        +batch
    }
    class FeatureColumns {
        +numericColumn
        +bucketizedColumn
        +indicatorColumn
        +embeddingColumn
        +hashedColumn
        +crossedColumn
    }
    class DenseFeatures {
        +featureColumns
        +inputLayer
        +trainable
    }
    class Network {
        +Dense128Relu
        +Dense128Relu
        +Dense1Sigmoid
    }
    class TrainEval {
        +compile
        +fit
        +plotMetric
        +evaluate
    }
    CSVData --> Split : train_test_split
    Split --> TFDataPipeline : dataframe
    TFDataPipeline --> FeatureColumns : exampleBatch
    FeatureColumns --> DenseFeatures : selectedColumns
    DenseFeatures --> Network : input
    Network --> TrainEval : history
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第10章 用Embedding表现分类特征(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter14_0001.xhtml) - 结论依据:原文10.1概述描述了从CSV、tf.data、特征列到Keras模型的完整链条,10.2各小节逐一实现,支撑本图对流程的拆解。 - 原始内容:用特征列将CSV中的列映射到用于训练模型的特征中。使用Embedding处理分类列(或分类特征),对数值列进行分桶或数值化处理,并对一些特征进行组合,最后合并这些特征。