原书出处
深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)
appb 附录B 语言模型
过上下文信息进行双向特征表征。 5)代表:ELMO、GPT、GPT-2、GPT-3。 2. 自编码语言模型 1)定义:
自编码器(AutoEncoding,AE)是一种无监督学习输入特征的方法:我们用一个神经网络把输入(输入通常还会增加一些噪声)变成一个低维的特征,这就是编码部分。再用一个Decoder尝试把特征恢复成原始的信号。
例如:可以把BERT看作一种自编码,它通过掩码改变了部分标识符,然后试图通过其上下文的其他标识符来恢复这些被遮掩的标识符
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter22.xhtml
EPUB SHA-256:0056cad2f11cb1d60ead5054060bd6d41fef87dd049656db310bdc789c0ec7da