← 返回起始笔记位置

知识卡片

结构图卡 · 9851.a · 生成模型:Hunyuan

通过任务学习词嵌入步骤

理解等级:中级

把嵌入层塞进一个监督任务里学习,流程是四步闭环:先准备原始语料,再预处理成“词到索引”的字典,然后搭网络并把嵌入层放在第一层、初始化一张权重矩阵当作查找表,最后训练模型并用梯度反复更新这张表。关键在于权重矩阵不是预先给定的知识,而是和分类、标注等目标一起被优化的参数,所以任务不同,学到的向量也不同。边界在于字典必须覆盖输入中可能出现的索引,否则查表会越界;而词频极低的词因为更新次数少,向量质量通常较差。

结构图:

classDiagram
    class Corpus {
        +prepareCorpus()
    }
    class Dictionary {
        +preprocess()
        +wordToIndex
    }
    class LookupTable {
        +initWeights()
        +lookup(index)
    }
    class TaskTraining {
        +forward()
        +computeLoss()
        +updateWeights()
    }
    Corpus --> Dictionary : raw text
    Dictionary --> LookupTable : index list
    LookupTable --> TaskTraining : first layer
    TaskTraining --> LookupTable : gradient update
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第2章 获取Embedding的方法 · 查看原书依据

      具体实现步骤大致如下: 1)准备语料库; 2)预处理语料库,得到由不同单词构成的字典,字典包括各单词及对应的索引; 3)构建网络,把Embedding Layer作为第一层,先初始化对应的权重矩阵(即查找表); 4)训练模型,训练过程中将不断更新权重矩阵。

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第2章 获取Embedding的方法(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter5_0001.xhtml) - 结论依据:原文把实现过程拆成准备语料、构造字典、以Embedding Layer为第一层初始化查找表、训练中持续更新四个步骤,并指出可在文档分类、词性标注等任务中同步学习词嵌入。 - 原始内容:具体实现步骤大致如下: 1)准备语料库; 2)预处理语料库,得到由不同单词构成的字典,字典包括各单词及对应的索引; 3)构建网络,把Embedding Layer作为第一层,先初始化对应的权重矩阵(即查找表); 4)训练模型,训练过程中将不断更新权重矩阵。