← 返回卡片

原书出处

深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)

appb 附录B 语言模型

核验版本的摘录快照 · 导入于 2026-11-19T04:48:36.606Z

过上下文信息进行双向特征表征。 5)代表:ELMO、GPT、GPT-2、GPT-3。 2. 自编码语言模型 1)定义:

自编码器(AutoEncoding,AE)是一种无监督学习输入特征的方法:我们用一个神经网络把输入(输入通常还会增加一些噪声)变成一个低维的特征,这就是编码部分。再用一个Decoder尝试把特征恢复成原始的信号。

例如:可以把BERT看作一种自编码,它通过掩码改变了部分标识符,然后试图通过其上下文的其他标识符来恢复这些被遮掩的标识符

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter22.xhtml

EPUB SHA-256:0056cad2f11cb1d60ead5054060bd6d41fef87dd049656db310bdc789c0ec7da