原书出处
深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)
01 第1章 万物皆可嵌入
的概率估算难度,通常使用一个简化的n-gram模型。代表模型有ELMo、GPT、GPT-2等。 2. Mask语言模型
Mask语言模型通过在输入序列中随机掩藏掉一部分单词,然后通过训练来预测这些被掩藏掉的单词。这点与噪音自编码(Denoising Autoencoder)很相似,那些被掩藏掉的单词就相当于在输入侧加入的所谓噪音。
其损失函数如下所示: 其中m(x)、分别表示从输入序列X中被掩藏的标识符集以及剩余的标识符集。代表模型有BERT、ER
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter4_0006.xhtml
EPUB SHA-256:0056cad2f11cb1d60ead5054060bd6d41fef87dd049656db310bdc789c0ec7da