知识卡片

普通读书笔记卡 · 9857.c · 生成模型:Hunyuan

ALBERT分解嵌入与跨层共享

理解等级:高级

ALBERT用更少参数换取更好效果,核心是两项参数精简。分解词表嵌入:输入端嵌入与上下文无关,隐藏层嵌入才随上下文变化,因此把词表到隐藏层的大矩阵拆成词表到低维嵌入、再到隐藏层两个小矩阵;仅此一步就让投影块参数减少约80%而性能几乎不降,并能在不显著增加词嵌入参数的前提下加宽隐藏层。跨层共享:BERT各层操作相似却各有独立参数,ALBERT只学习第一个块的参数并在其余各层复用,使注意力前馈块参数减少约90%(总体约70%);代价是精度略降,但大幅降低模型退化风险与内存占用。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第8章 BERT的优化方法 · 查看原书依据

      输入端的嵌入(单词、标识符等)为上下文无关的表示形式,而隐藏层嵌入为上下文相关的表示形式。因此,可以对输入矩阵进行因子分解,把嵌入矩阵分解为两个较小维度的矩阵,如图8-5所示,仅凭这一步骤,ALBERT就能将投影块的参数减少80%,而性能却只有很小的下降。

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第8章 BERT的优化方法(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter11_0002.xhtml) - 结论依据:原文给出分解使参数减80%、跨层共享使注意力前馈块参数减90%总体减70%及各自的精度权衡,支撑本卡。 - 原始内容:输入端的嵌入(单词、标识符等)为上下文无关的表示形式,而隐藏层嵌入为上下文相关的表示形式。因此,可以对输入矩阵进行因子分解,把嵌入矩阵分解为两个较小维度的矩阵,如图8-5所示,仅凭这一步骤,ALBERT就能将投影块的参数减少80%,而性能却只有很小的下降。