知识卡片
通过任务学习词嵌入步骤
把嵌入层塞进一个监督任务里学习,流程是四步闭环:先准备原始语料,再预处理成“词到索引”的字典,然后搭网络并把嵌入层放在第一层、初始化一张权重矩阵当作查找表,最后训练模型并用梯度反复更新这张表。关键在于权重矩阵不是预先给定的知识,而是和分类、标注等目标一起被优化的参数,所以任务不同,学到的向量也不同。边界在于字典必须覆盖输入中可能出现的索引,否则查表会越界;而词频极低的词因为更新次数少,向量质量通常较差。
结构图:
classDiagram
class Corpus {
+prepareCorpus()
}
class Dictionary {
+preprocess()
+wordToIndex
}
class LookupTable {
+initWeights()
+lookup(index)
}
class TaskTraining {
+forward()
+computeLoss()
+updateWeights()
}
Corpus --> Dictionary : raw text
Dictionary --> LookupTable : index list
LookupTable --> TaskTraining : first layer
TaskTraining --> LookupTable : gradient update
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第2章 获取Embedding的方法 · 查看原书依据
具体实现步骤大致如下: 1)准备语料库; 2)预处理语料库,得到由不同单词构成的字典,字典包括各单词及对应的索引; 3)构建网络,把Embedding Layer作为第一层,先初始化对应的权重矩阵(即查找表); 4)训练模型,训练过程中将不断更新权重矩阵。
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第2章 获取Embedding的方法(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter5_0001.xhtml)
- 结论依据:原文把实现过程拆成准备语料、构造字典、以Embedding Layer为第一层初始化查找表、训练中持续更新四个步骤,并指出可在文档分类、词性标注等任务中同步学习词嵌入。
- 原始内容:具体实现步骤大致如下: 1)准备语料库; 2)预处理语料库,得到由不同单词构成的字典,字典包括各单词及对应的索引; 3)构建网络,把Embedding Layer作为第一层,先初始化对应的权重矩阵(即查找表); 4)训练模型,训练过程中将不断更新权重矩阵。