知识卡片
特征处理流程总览
结构图把项目拆成六个环节:CSV数据经Pandas成为dataframe,再拆为训练、验证、测试集;df_to_dataset把dataframe转成tf.data流水线完成乱序与分批;一个批次样本进入特征列集合,分别经过数值列、分桶列、独热列、嵌入列、哈希列与组合列的转换;被选中的特征列由DenseFeatures层封装成Keras输入层;随后送入三层全连接网络;最后编译、训练、可视化并用测试集评估。读图的关键是看清列的处理方式与网络的层结构是两条并行主线,前者决定信息如何表达,后者决定如何拟合。
结构图:
classDiagram
class CSVData {
+pandasDataframe
+heart.csv
}
class Split {
+train
+val
+test
}
class TFDataPipeline {
+df_to_dataset()
+shuffle
+batch
}
class FeatureColumns {
+numericColumn
+bucketizedColumn
+indicatorColumn
+embeddingColumn
+hashedColumn
+crossedColumn
}
class DenseFeatures {
+featureColumns
+inputLayer
+trainable
}
class Network {
+Dense128Relu
+Dense128Relu
+Dense1Sigmoid
}
class TrainEval {
+compile
+fit
+plotMetric
+evaluate
}
CSVData --> Split : train_test_split
Split --> TFDataPipeline : dataframe
TFDataPipeline --> FeatureColumns : exampleBatch
FeatureColumns --> DenseFeatures : selectedColumns
DenseFeatures --> Network : input
Network --> TrainEval : history
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第10章 用Embedding表现分类特征 · 查看原书依据
用特征列将CSV中的列映射到用于训练模型的特征中。使用Embedding处理分类列(或分类特征),对数值列进行分桶或数值化处理,并对一些特征进行组合,最后合并这些特征。
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第10章 用Embedding表现分类特征(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter14_0001.xhtml)
- 结论依据:原文10.1概述描述了从CSV、tf.data、特征列到Keras模型的完整链条,10.2各小节逐一实现,支撑本图对流程的拆解。
- 原始内容:用特征列将CSV中的列映射到用于训练模型的特征中。使用Embedding处理分类列(或分类特征),对数值列进行分桶或数值化处理,并对一些特征进行组合,最后合并这些特征。