原书出处
深度学习详解
10 自监督学习 10.1 BERT
如何训练 BERT?如图10.5 所示,我们知道被掩码的字符是“度”,而 BERT 不知道. 因此,训练的目标是输出一个尽可能接近真实答案的字符,即字符“度”. 独热编码可以用来表示字符,并最小化输出和独热向量之间的交叉熵损失.这个问题可以看成一个分类问题,只是类的数量和汉字的数量一样多. 若我们要考虑的汉字的数量为 4000,则该问题就是一个 4000类的分类问题. BERT 要做的就是成功预测掩码的地方属于的类,在这个例子中,就是“度”. 在训练过程中,在 BERT 之后添加一个线性模型并将它们一起训练. 所以,BERT的内部是一个Transformer编码器,它有一些参数. 线性模型是一个矩阵,它也有一些参数,尽管与 BERT相比要少得多. 我们需要联合训练BERT和线性模型并尝试预测被掩码的字符.
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter10.xhtml
EPUB SHA-256:35d2d4b7de742e0ce7756e7fb57c534014bf33cecdf0483a75e23cb7446cb7dc