← 返回卡片

原书出处

深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)

01 第1章 万物皆可嵌入

核验版本的摘录快照 · 导入于 2026-11-19T04:48:36.592Z

的概率估算难度,通常使用一个简化的n-gram模型。代表模型有ELMo、GPT、GPT-2等。 2. Mask语言模型

Mask语言模型通过在输入序列中随机掩藏掉一部分单词,然后通过训练来预测这些被掩藏掉的单词。这点与噪音自编码(Denoising Autoencoder)很相似,那些被掩藏掉的单词就相当于在输入侧加入的所谓噪音。

其损失函数如下所示: 其中m(x)、分别表示从输入序列X中被掩藏的标识符集以及剩余的标识符集。代表模型有BERT、ER

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter4_0006.xhtml

EPUB SHA-256:0056cad2f11cb1d60ead5054060bd6d41fef87dd049656db310bdc789c0ec7da