知识卡片

普通读书笔记卡 · 9855.c · 生成模型:Hunyuan

字符编码层结构

理解等级:中级

ELMo先从字符入手而不是直接查词表:每个词被拆成字符序列并加上词首、词尾、句首、句尾及补齐等特殊标记,每个字符映射成d维向量,形状变为B×W×C×d。接着用多尺度的一维卷积配合最大池化提取不同宽度的高频模式,把各尺度结果拼接、压平成B×W×(d1+…+dm);再经过两层Highway Net做类似残差的信息闸门,最后由线性映射层压到D维输出B×W×D。用字符当输入的好处是能捕捉词的内部结构,beauty和beautiful即使没见过上下文也能被识别为相关。代价是序列更长、计算更重,且完全依赖构词规律,对中文这类形态不丰富的语言收益会打折。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第6章 从Word Embedding到ELMo · 查看原书依据

      输入度量是字符而不是词汇,以便模型能捕捉词的内部结构信息。比如beauty和beautiful,即使不了解这两个词的上下文,双向语言模型也能够识别出它们在一定程度上的相关性。

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第6章 从Word Embedding到ELMo(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter9_0002.xhtml) - 结论依据:原文给出字符编码层从B×W×C到B×W×D的结构:Char Embedding后接Multi-Scale CNN、Concat&Reshape、Highway Net与Linear Projection,并说明以字符为输入是为了捕捉词内部结构。 - 原始内容:输入度量是字符而不是词汇,以便模型能捕捉词的内部结构信息。比如beauty和beautiful,即使不了解这两个词的上下文,双向语言模型也能够识别出它们在一定程度上的相关性。