知识卡片

普通读书笔记卡 · 9859.e · 生成模型:Hunyuan

tf.data输入流水线

理解等级:中级

df_to_dataset函数把dataframe转为TensorFlow的Dataset:先复制数据并pop出target作为标签,再用from_tensor_slices把特征字典与标签配对,按需要shuffle、repeat,最后batch成批。返回的批次是一个字典,键为列名、值为该列张量,例如age是一批整数、target是一批0/1标签,这种结构正好匹配DenseFeatures的输入约定。当CSV大到无法全部载入内存时,可直接用tf.data从磁盘流式读取,这是该流水线相对一次性读入的核心优势。验证集与测试集调用时关闭shuffle即可。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第10章 用Embedding表现分类特征 · 查看原书依据

      这里我们定义一个函数df_to_dataset,把dataframe数据转换为Tensorflow格式数据,将dataframe中的列映射到用于训练模型的特征中,并批次处理。如果CSV文件比较大(非常大以至于不能放入内存),可以使用tf.data直接从磁盘读取它。

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第10章 用Embedding表现分类特征(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter14_0002.xhtml) - 结论依据:原文10.2.4给出df_to_dataset完整实现,并说明大数据集可用tf.data直接从磁盘读取,支撑本卡对流水线机制与优势的说明。 - 原始内容:这里我们定义一个函数df_to_dataset,把dataframe数据转换为Tensorflow格式数据,将dataframe中的列映射到用于训练模型的特征中,并批次处理。如果CSV文件比较大(非常大以至于不能放入内存),可以使用tf.data直接从磁盘读取它。