知识卡片
TF2嵌入层语法与维度
TensorFlow 2.0里的对应层是tf.keras.layers.Embedding,必填参数是input_dim(词汇表大小)和output_dim(向量维度),与PyTorch的num_embeddings、embedding_dim一一对应。embeddings_initializer默认uniform,决定查找表的初始分布;mask_zero=True把索引0当作填充并屏蔽,代价是词汇表不能再占用0号索引。input_length声明输入序列长度,这在后面要接Flatten再接Dense时是必需的,否则形状推断会报错。形状上它把二维的(batch_size, input_length)升成三维的(batch_size, input_length, output_dim),也就是给每个时间步挂一个向量,这与PyTorch“任意前缀+末尾加维”的约定本质一致。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第2章 获取Embedding的方法 · 查看原书依据
2)输入说明如下: 输入一般为2维张量,其形状为(batch_size, input_length)。 3)输出说明如下: 输出一般为3维张量,其形状为(batch_size, input_length, output_dim)。
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第2章 获取Embedding的方法(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter5_0002.xhtml)
- 结论依据:原文给出TensorFlow 2.0嵌入层的完整语法与参数说明,并明确写出输入为2维张量、输出为3维张量及各自形状。
- 原始内容:2)输入说明如下: 输入一般为2维张量,其形状为(batch_size, input_length)。 3)输出说明如下: 输出一般为3维张量,其形状为(batch_size, input_length, output_dim)。