来源书籍

深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)

Skill 版本:v24 212 张卡片

吴茂贵, 王红星 · 机械工业出版社 · 2021-11-11

全书导读

《深入浅出Embedding》围绕一个核心命题展开:万物皆可嵌入——任何离散对象(词、物品、用户、图节点、分类特征)都能映射为低维稠密向量,从而让机器学习模型能够度量它们之间的语义关系。全书分两部分:第一部分搭建 Embedding 的知识地基,第二部分通过真实项目验证这些机制如何落地。

读书路径是「先概念、再机制、后应用」。第1章给出 Embedding 的全景图谱:从 word2vec 的 CBOW 与 Skip-Gram,到 Item Embedding、Graph Embedding、Contextual Word Embedding 与预训练模型谱系,构成全书地图。随后各章逐层深入:第2章讲如何获取嵌入,第3—4章补齐 CNN/RNN 的视觉与序列建模基础,第5章的注意力机制与 Transformer 是全书技术枢纽,第6—8章沿 ELMo→BERT/GPT→XLNet/ALBERT/ELECTRA 铺开预训练模型的演进主线。第二部分(第10—15章)用心脏病诊断、销售预测、英译中、中文分类、文本生成五个项目演示 Embedding 的工程用法,第16章收束全书,附录提供环境与语言模型背景。

阅读时可抓住三条主线:表示从静态走向动态、从单一向量走向上下文相关;架构从循环/卷积走向以注意力为核心的 Transformer;应用从词向量扩展到推荐、视觉、分类与生成的全场景。相关卡片:[[万物皆可嵌入]]、[[循序渐进学习路径]]、[[Embedding的四重意义]]。

全书主线

全书主线是「表示学习 unifying一切」:把离散世界翻译成向量空间里的几何关系,再用神经网络完成度量与预测。

起点是 [[万物皆可嵌入]] 与 [[词嵌入的由来与获取]]:word2vec 用局部上下文共现学习词向量,[[CBOW模型]] 由上下文预测中心词,[[Skip-Gram模型]] 由中心词预测上下文,两者构成后续所有嵌入方法的原型。为了让训练可用,Hierarchical Softmax 与 Negative Sampling 解决巨大词表的计算瓶颈。同一思想迁移到非文本对象:Item Embedding 服务推荐,Graph Embedding(DeepWalk、LINE、node2vec)把图节点嵌入向量空间,分类特征通过 Embedding 列进入深度模型。

表示的表达力瓶颈催生上下文相关表示:[[静态词嵌入的一词多义困境]] 说明静态向量的限制,[[ELMo动态词表示机制]] 用双向语言模型生成随上下文变化的词表示;[[BERT整体架构]] 以掩码语言模型实现真正的双向编码,[[GPT-2单向Transformer]] 则以自回归方式做生成。二者的结构基础都是注意力机制——[[注意力的QKV本质]] 与 [[注意力计算三阶段]] 揭示其本质,Transformer 将其堆叠成高并发、长记忆的编码器—解码器。

应用部分把主线落到工程:分类特征用嵌入列提升表格数据表现([[特征处理流程总览]]、[[分类列独热与Embedding]]),相同数据集上嵌入方案普遍优于独热编码([[项目双维度对比设计]]),Transformer 完成英译中([[Transformer英译中总体架构]]),BERT/GPT 分别完成中文分类与文本生成。[[静态到动态表示]] 与 [[Embedding不足与优化]] 收束这条演进链。

前言

前言为全书确立了问题的来龙去脉。先看技术背景:视觉与 NLP 的进步带动了传统机器学习、推荐和排序,而支撑它们的共同核心是 Embedding,它从 Word Embedding 出发,横向扩展到 Item、Entity、Graph、Position、Segment 等表示,纵向演进到 ELMo、BERT、GPT 等可微调的动态预训练模型,详见Embedding的技术背景。再看写作动因:这些技术强大而实用,掌握它们已成为众多 AI 爱好者的迫切愿望,本书因此把基本原理与代码实现结合、用可视化把复杂问题讲简单,面向学生、在职人员和有一定框架基础的读者,见本书的写作初衷。最后是如何阅读:全书先铺垫语言模型、迁移学习、注意力机制等基础,再用最新版 PyTorch 或 TensorFlow 从零实现翻译、分类、生成等实例,按“基础知识—应用实例”两部分共 16 章展开,并借助公式、代码与图示降低门槛,见循序渐进学习路径。这三部分合起来说明:Embedding 之所以值得系统学习,是因为它既是各类前沿技术的共同底座,又已经形成了从表示到预训练、再到落地的完整方法链条。

原书依据 · 3 处

第1章 万物皆可嵌入

本章以“万物皆可嵌入”为总纲:嵌入即用向量表示词、句、商品等对象,并沿两条主线演进——从 Word Embedding 扩展到 Item、Graph、Categorical Embedding,从静态表示扩展到动态预训练模型,参见万物皆可嵌入。序列问题流程是清理、分词、索引化、向量化再交给下游任务,其中词嵌入或预训练模型是决定效果的关键环节,见序列问题一般步骤。Word Embedding 部分先交代独热编码到分布式表示的演进与两种获取途径(词嵌入的由来与获取),再讲 word2vec 的两类模型:CBOW 由上下文预测目标词(CBOW模型)、Skip-Gram 由目标词预测上下文(Skip-Gram模型),二者结构与优化策略的对应关系见word2vec两模型对比与Softmax两大优化策略;Skip-Gram 从分词、建样本到正负向传播的每一步见Skip-Gram实现全流程。推广到序列之外:物品序列对应Item Embedding与推荐落地(微软 Item2Vec 与 Airbnb 案例),离散类别特征对应分类特征与实体嵌入。图结构走“图→序列→向量”两步框架(Graph Embedding概述),方法谱系见Graph Embedding方法谱系,具体有 DeepWalk、LINE、node2vec 三种经典方法(三种经典图嵌入方法)、阿里商品图的 BGE/GES/EGES(阿里Graph Embedding实践)以及知识图谱辅助推荐的三种学习范式(知识图谱辅助推荐)。动态表示部分指出静态词嵌入的一词多义困境与预训练模型发展脉络(从静态词嵌入到预训练谱系),对比自回归、Mask、排列三类语言模型(三种语言模型)与 ELMo/GPT/BERT 等主流模型(主流预训练模型),并说明 Transformer 及其在推荐、视觉的应用(Transformer及其应用)。最后是中文自动摘要的完整实例(中文自动摘要实例)。

原书依据 · 20 处

第2章 获取Embedding的方法

本章回答“Embedding从哪里来”。章首给出三种嵌入获取途径:PyTorch嵌入层、TensorFlow 2.0嵌入层与预训练模型迁移。

2.1节从通过任务学习词嵌入步骤讲起:准备语料、构造词到索引的字典、把嵌入层放在网络首层初始化查找表、训练中持续更新,这个闭环让词向量随任务目标被学出来。接着nn.Embedding语法格式把模块解释为索引到向量的查找表,输入是索引列表、输出是对应词嵌入;Embedding关键参数逐项说明num_embeddings、embedding_dim、padding_idx、max_norm与scale_grad_by_freq的作用,并提示max_norm、norm_type如今已较少使用。稀疏梯度与优化器进一步指出sparse=True并不保证真正稀疏:动量和weight_decay都会把未出现词的权重重新带动。查找表与权重初始化用10词3维的例子串起LongTensor输入、带embedding_dim的输出约定,并从reset_parameters追到init.normal_,说明权重来自正态分布采样。

2.2节的TF2嵌入层语法与维度把同一思路搬到Keras:input_dim、output_dim对应前两参数,mask_zero让0号索引专用于填充,input_length是接Flatten与Dense的必要条件,输入二维升三维。

2.3节是迁移学习的主战场。迁移学习与GloVe背景交代IMDB情感分析与822MB、40万词、100维的GloVe数据;IMDB分词与数据准备用maxlen=100、200训练样本、10000验证样本、10000高频词刻意构造小样本场景;GloVe词向量矩阵构建把词表对齐到10000×100的矩阵,未登录词留零;加载并冻结嵌入层把矩阵写入首层并冻结;预训练效果对比与迁移给出约60%对约50%的准确率差,说明预训练是NLP常用手段,为下一章ELMo等埋下伏笔。

原书依据 · 12 处

第3章 计算机视觉处理

本章讨论深度学习在计算机视觉中的处理手段,核心是卷积神经网络与迁移学习。开头先指出全连接网络面对高维图像时参数爆炸、易过拟合的困境,由此引出 全连接处理高维的困境。卷积神经网络作为前馈网络,由卷积层、池化层和全连接层堆叠而成,其整体骨架见 卷积神经网络整体架构。在卷积层内部,增加通道实质是增加卷积核,Filter 负责检测边缘特征,详见 增加通道与卷积核;而这些过滤器并非手工设计,而是像权重矩阵一样靠梯度下降迭代学出,即 卷积核由训练迭代求得。网络向纵深发展能减少参数、扩大感受野并带来非线性与层次化特征,见 加深网络扩大感受野;但层数增加会带来梯度消散,需要用 残差连接缓解梯度消散 来保障训练。

后半章转向如何把已训练好的模型用到新任务。迁移学习把源任务的模型当作新任务起点,能节约大量算力,见 迁移学习复用已有模型。具体策略取决于目标数据量与相似度,四种情形见 预训练模型使用的四种情形。模型可从 PyTorch、TensorFlow、HuggingFace 三大平台获取,见 获取预训练模型的途径。最后以 resnet18 在 CIFAR10 上的实例落地:特征提取冻结主体只训分类层,约 75% 准确率,见 PyTorch特征提取实例;微调则更新全部参数并加入数据增强,可达约 95%,见 PyTorch微调实例。这些方法既服务于视觉任务,其迁移思想也贯穿后续自然语言处理章节。

原书依据 · 11 处

第4章 文本及序列处理

本章把视角从图像转向序列数据。序列数据长度不一且前后相关,卷积神经网络不再适用,因此引入循环神经网络。标准 RNN 靠隐藏状态保存历史,各时间步共享 U、W、V 参数,详见 标准循环神经网络;它还能纵向堆叠成多层以增强表达,见 深度循环神经网络。然而长序列上按时间反向传播会梯度消失,RNN 只有短期记忆,这催生了门控结构:LSTM 用遗忘门、输入门、输出门管理长期依赖,见 LSTM的门控机制;GRU 把三门合并为更新门与重置门以求轻快,见 GRU的双门简化。三者在门控数量与长期记忆能力上的差异,集中体现在 三种循环网络门控对比。此外,普通网络只能利用上文,双向循环网络用正序与反序两路分别吸收上下文再合并,见 双向循环神经网络。

在基本结构之上,还可以搭建更强的模型。Encoder-Decoder 由编码器把源数据压成中间向量、解码器据此生成输出;Seq2Seq 在此基础上要求输入输出都是序列,支撑机器翻译、对话等任务,二者合见 编码解码与Seq2Seq。但该框架把所有信息塞进同一个向量 C,长句容易丢失细节,这一缺陷正引出下一章的注意力机制。

原书依据 · 7 处

第5章 注意力机制

本章以注意力机制为主线:从人类视觉的选择性注意讲起(注意力源于人类视觉),按范围分为软硬两类(软硬注意力之分),把注意力抽象为Query、Key、Value的加权求和(注意力的QKV本质),计算分打分、归一化、加权三步(注意力计算三阶段),数据流见(注意力计算架构)。Encoder-Decoder中固定语义向量C让各输出词平均看待输入(分心模型的局限);引入注意力后C变为随输出变化的Ci(从固定C到动态Ci),分配值由对齐函数与Softmax算出(注意力分配值的计算),可用四层解码器实现(注意力解码器实现)。

Transformer部分先讲顶层设计:编码、解码各六层串联(Transformer顶层架构),内部结构见(Transformer整体架构),位置编码补入词序(位置编码补时序)。自注意力让每个词关注全句(自注意力计算步骤),矩阵化得到缩放点积注意力(缩放点积注意力矩阵化);掩码控制可见范围(两种掩码机制),多头提供多个表示子空间(多头注意力机制)。由此获得高并发与长记忆(高并发与长记忆),残差与归一化保障深层可训练(残差连接与归一化),输出端以自监督求损失(自监督学习收尾)。

代码实践覆盖子层与编解码类(编码器解码器与子层实现)、解码器层与后续掩码(解码器层与后续掩码实现)、注意力函数与多头(注意力函数与多头实现)、位置编码(位置编码实现)及组装训练(模型组装与训练技巧)。改进方面,Transformer-XL用段级循环复用历史(Transformer-XL循环机制)与相对位置编码(相对位置编码),依赖长度达O(N乘L)(XL评估与依赖长度);Reformer用局部敏感哈希(局部敏感哈希)与可逆残差网络(可逆残差网络)省算力内存,对比见(XL与Reformer对比)。

原书依据 · 30 处

第6章 从Word Embedding到ELMo

本章要解决的是静态词嵌入“一个词只有一个向量”的痛点。章首用“苹果”在水果与手机语境下的不同含义说明:静态词嵌入的一词多义困境的根子在于训练后表示即固定,不随上下文变化。

6.1节先承认word2vec把独热编码变成稠密向量的进步,再用“Don’t trouble trouble”说明一词多义为何卡住静态表示;ELMo的提出把领域从词嵌入推进到语境词嵌入。

6.2节进入原理。ELMo动态词表示机制点明它同时交付向量和生成向量的预训练模型,同一个词在不同句子里得到不同表示,完成静态到动态的飞跃。ELMo整体处理流程给出主线:B×W×C的输入经字符编码层变成B×W×D,再经双向语言模型堆成(L+1)×B×W×2D,最后由混合层得到(B, W, 2D)的ELMo向量,其中+1类似残差连接。

三个子环节分别展开。字符编码层结构从Char Embedding、多尺度CNN、拼接压平、两层Highway Net一路走到线性映射,解释了为何用字符能捕捉beauty与beautiful这类词内结构。双向语言模型与参数共享说明正反向两个LM拼接、词向量层与Softmax层共享而LSTM参数分离,并解释(L+1)与2D两个维度的来历。生成ELMo词嵌入则把2L+1个表征经混合层线性组合,最简单是只取最高层,一般做法用Softmax权重加γtask放缩;预训练只需纯文本,使用时输入新句子即可得到带语境的词向量。

6.3节收束:ELMo让词向量随语境更新,但LSTM架构在并发能力和长语句处理上力有不逮,这正是下一章更强预训练模型要补的位。

原书依据 · 6 处

第7章 从ELMo到BERT和GPT

本章承接上一章的ELMo,讨论如何从静态词嵌入走向更强的预训练模型。开篇先给ELMo的得与失定位:它完成了静态到动态、词嵌入到情景嵌入的转变,但双向LSTM的自回归本质拖累了并发与大规模训练,由此引出基于Transformer的BERT与GPT。

7.2节聚焦BERT。BERT整体架构指出它只取Transformer的Encoder并给出BASE/LARGE两档超参;BERT的三重嵌入拆解标识、位置、段三种相加的输入表示以及[CLS]/[SEP];掩码语言模型与下一句预测任务是两项预训练目标,前者用15%遮掩与80/10/10技巧实现真正双向,后者让模型理解句间联系;有了表示后,BERT微调与特征提取给出加输出层微调与固定参数提取特征两条下游路径。7.3节的PyTorch搭建BERT把上述结构落到BERTEmbedding与TransformerBlock两个核心模块。

7.4节转向GPT系。GPT的建模与架构说明它用Decoder做上文预测下文、偏生成;GPT-2多头与遮掩注意力对比BERT多头,讲清遮掩多头、两个输入矩阵与遮掩自注意力计算;GPT与GPT-2之别比较规模数据与有监督微调、Zero-Shot的设置差异;结构图BERT与GPT架构对照把两族模型的分支关系放在一起。7.5节的GPT-3范式介绍1750亿参数与Few/One/Zero-Shot的上下文学习。小结重申BERT用Encoder加MLM、GPT用Decoder加LM,各有长短,为下一章的BERT优化埋下伏笔。

原书依据 · 12 处

第8章 BERT的优化方法

本章承接第7章BERT的MLM,先指出它虽双向却留下隐患:训练时随机把15%输入换成[MASK]而测试时不存在,且损失假设被遮词彼此独立,对“New York”这类实体并不成立;此外参数庞大、段间依赖不足。围绕这些缺陷,本章给出三条优化路线。

8.1节的排列语言模型让自回归模型通过采样词的排列,在预测目标时同时看到左右文,避开[MASK]不一致;但标准Transformer缺少目标位置信息,于是双流自注意力用只含位置的查询流与含内容的内容流分工,并以两种遮掩防止答案泄露。XLNet的循环与相对编码进一步把Transformer-XL的段缓存循环与相对位置编码搬进来,解决长文档依赖与上下文碎片,实验显示长文本任务提升明显。

8.2节讲ALBERT:ALBERT分解嵌入与跨层共享把词表嵌入矩阵因子分解、并在各层间共享参数,用约80%和90%的参数削减换来更轻的模型;SOP替代NSP则把负样本改为同文档逆序句,让模型真正学到句间连贯。

8.3节是ELECTRA:ELECTRA与RTD用生成器产损坏标记、判别器对所有位置做替换探测,把学习信号从15%扩展到全序列;ELECTRA损失与GAN之别说明它虽借GAN思想却用最大似然分开训练,并以λ=50平衡偏小的RTD损失;ELECTRA评估显示同等效果下计算量不到RoBERTa/XLNet的四分之一。结构图BERT优化方法图谱把三条路线与BERT的痛点放在一起对照。

原书依据 · 9 处

第9章 推荐系统

本章围绕推荐系统展开,先从概念与流程入手,再讲经典协同过滤,最后落到深度学习与Embedding的融合。开篇推荐系统的本质指出推荐系统是信息过滤平台,与搜索引擎不同,它无需用户明示需求,而是从历史行为推断兴趣,这一定位贯穿全章。工程上推荐系统通常分两阶段,召回与排序两阶段用大而快的召回从海量物品中筛候选,再用小而准的排序模型精准打分,后续技术大多落在这条流水线中。从算法演进看,主流推荐算法谱系梳理了基于内容、协同过滤、基于模型几条主线,并说明传统方法如何被深度学习与Embedding取代。协同过滤是本章核心。显式反馈与隐式反馈区分了评分评论等主动反馈与购买查看等被动行为,指出选对行为特征隐式反馈同样有效,这决定了算法可用的数据。在此基础上,基于用户的协同过滤用行向量算用户相似度、取K邻居加权预测,基于物品的协同过滤则用列向量算物品相似度,二者本质相通,仅按物品与用户的多寡择一使用。深度学习部分先改造协同过滤:NCF与NeuMF用神经网络替换矩阵分解中的内积,并融合GMF的线性与MLP的非线性。更广的图景见深度学习推荐模型谱系:DeepFM共享嵌入同时学低阶与高阶特征,ConvMF用CNN从商品文档抽取特征缓解稀疏,DMT用Transformer建模行为序列并融合多任务与偏置学习。这些案例说明,推荐系统总是最早尝试Embedding、Transformer、BERT等新技术的领域之一。

原书依据 · 8 处

第10章 用Embedding表现分类特征

本章以克利夫兰心脏病诊断的二分类任务为载体,回答一个核心问题:神经网络处理结构化数据时,表格里的数值列和类别列该如何表达。开篇对比传统机器学习与深度学习,指出特征处理是关注重点,并给出导入、拆分、流水线、特征列、模型的完整路线。心脏病诊断项目背景概述了项目的四个组成部分,克利夫兰心脏病数据集说明每行一位病人、每列一个属性、target为标注,数值列与类别列并存正是需要处理的原因。全局流程见特征处理流程总览,它把数据处理与网络结构两条主线画在同一张图里。实现部分从第10.2节展开:导入库与读取CSV用pandas从URL读入dataframe并屏蔽警告,拆分训练验证测试集两次按0.2切出测试与验证集,tf.data输入流水线用df_to_dataset把dataframe变为乱序分批的Dataset,使大数据可流式读取。特征列方法是本章重点:数值列与分桶处理对比直接数值输入与分桶后独热;分类列独热与Embedding说明词表映射后独热适合少类别、嵌入适合多类别;哈希分桶与特征组合补充无词表时的哈希技巧与捕捉交互的组合列。选择拼接特征与输入层把各类列汇入feature_columns并由DenseFeatures封装为输入层;构建编译训练与评估完成两层全连接、adam与交叉熵的编译训练,并用曲线与测试集评估。小结强调:类别粒度粗宜独热、细宜Embedding,最后拼接送入网络;小数据上应以树模型为基准,本章重在演示可迁移的处理机制。

原书依据 · 11 处

第11章 用Embedding提升机器学习性能

本章不只介绍Embedding怎么用,而是用一组对照实验回答它是否真的提升性能。引言说明比较在两条轴线上展开:算法轴线对比XGBoost与神经网络,表示轴线对比独热或标签化与Embedding。项目双维度对比设计解释了这种双因素设计如何分离变量,实验整体架构把四种组合汇入同一评估口径。第11.1节铺垫数据:罗斯曼历史销售数据集说明1115家商店的销售预测任务与字段分类;CSV字典化与空值填充把多个CSV转成字典并序列化;时间特征拆分与标签化解析日期、过滤停业记录、用LabelEncoder生成统一特征文件;公共函数与评估指标提供切分、抽样、拆列与相对误差评估,保证各组合可比。第11.2节走神经网络路线:独热编码神经网络以1183维独热和对数缩放建立基线,验证误差约0.10;实体嵌入神经网络为各字段配置不同维度的Embedding并拼接,误差降到约0.096;嵌入向量的保存与复用把训练好的嵌入落盘并展开为稠密特征,成为连接树模型的桥梁。第11.3、11.4节走XGBoost路线:树模型为何用标签化输入说明树模型按阈值切分、无需独热的道理,XGBoost基准模型以标签化特征得到约0.176的验证误差;嵌入数据驱动的XGBoost改用嵌入向量后降到约0.099,证明增益同样存在于树模型。t-SNE可视化嵌入用降维散点检查类别是否在嵌入空间形成有意义的聚集。Embedding性能提升结论归纳为表示相同比模型、模型相同比表示两方面,并提醒结论受单一数据集与抽样设置的限制。

原书依据 · 14 处

第12章 用Transformer实现英译中

本章把第5章的Transformer原理用TensorFlow 2落地为英译中实例,主线是「数据预处理—建模—训练—推理—可视化」。开篇的实例目标与实现流程明确了先建模型、再训练评估、最后测试的三段式路线,并指出难点在预处理。预处理部分,输入数据格式与预处理步骤给出了带BOS/EOS与补0的定长索引张量目标;数据下载与数据集划分说明为何只取新闻评论子源并按比例切分;中英子词字典与断词解释wordpiece切分与中文单字建字典的差别;编码与长度过滤处理BOS/EOS包装与超长样本剔除;训练与验证数据管道则用map、filter、shuffle、padded_batch把变长句对变成规整批次。建模部分先用两张结构图卡Transformer英译中总体架构与编码器解码器堆叠建立整体直觉,再自底向上拆解:缩放点积注意力是核心算式,多头注意力模块实现在其外包多头投影,逐点前馈网络做逐位置非线性变换;编码器层与编码器把自注意力和FFN堆成源端编码器,解码器层与解码器额外加入交叉注意力与掩码;完整Transformer模型把这些组件封装为一次前向,位置编码与掩码机制则分别补足词序信息与屏蔽规则。优化目标上,带掩码的交叉熵损失只对真实词位计损失,动态学习率与Adam优化器用先升后降的调度稳定训练。工程落地由训练流程与checkpoint完成参数更新与断点续训;推理阶段自回归翻译与评估逐字生成译文,最后注意力权重可视化把各层注意力画成热力图,帮助诊断对齐质量。前后章看,本章是第5章理论的代码化延伸,也是后续理解预训练模型内部机制的重要基础。

原书依据 · 21 处

第13章 Embedding技术在推荐系统中的应用

本章通过三个工业案例说明Embedding在推荐系统中的核心作用。开篇指出Embedding已成为推荐系统数据存储与表示的基本载体,涉及组合、交叉与Attention运算。Airbnb案例围绕如何学到贴合业务的房源Embedding展开。点击会话与短期偏好把短时间内连续点击的房源当作句子,用word2vec的Skip-Gram学习Listing Embedding以捕捉短期兴趣;预订会话与长期偏好则针对点击数据丢失长期偏好的问题,改用预订会话,并通过属性分桶映射为type_id来缓解预订稀疏、单次预订无上下文、间隔过长偏好漂移等难题;业务目标融入Embedding进一步把booked listing与房主拒绝分别作为正负信号写进目标函数,使向量更贴近业务。Airbnb实时个性化向量空间则从全局说明各类信息被统一到同一向量空间后构建特征输入模型。阿里案例阿里BST行为序列建模用Transformer Encoder捕获用户历史行为与目标商品的关系,以时间差替代sin-cos位置编码,经三层MLP与Sigmoid输出点击率,展示了Transformer作为Embedding序列运算工具的威力。美团案例美团MT-BERT知识增强用BERT抽取文本特征并采用分区联合训练,再以融入知识图谱和实体掩码弥补BERT的常识与推理短板。三个案例层层递进:Embedding的表示、运算与增强,共同构成推荐系统的技术底座。

原书依据 · 6 处

第14章 用BERT实现中文语句分类

本章把 BERT 落到中文语句分类这一具体任务上,主线是“认识模型—看清输入—搭好下游—训练测试”。背景部分先介绍 transformers 库与中文 bert-base-chinese 的规格,见中文BERT与transformers库;随后解释 WordPiece 词块与 ## 前缀,见WordPiece词块切分,以及决定输入结构的五个特殊标识符,见BERT五大特殊标识符。可视化部分用 bertForMaskedLM 在 [MASK] 位置做填词,见掩码填词预测实例,再用 BertViz 的 head_view 观察层内某个头的关注对象,见BertViz头视图可视化,这两步让读者直观感受自注意力在建立上下文关系。微调部分先给出五步流水线,见BERT文本分类流程;接着把假新闻标题对定义成三分类任务,见假新闻分类任务,并在清洗、过滤与 1% 抽样后面对严重的类别不平衡,见样本清洗与类别基线。最关键的输入编码把原始文本变成 tokens、segments、masks 三种张量,见BERT输入三张量;这一转换由自定义 FakeNewsDataset 完成,见FakeNewsDataset数据类,再由 create_mini_batch 补零并生成掩码,见批量填充与掩码张量。在预训练 BERT 上仅加 dropout 与全连接层即得分类微调模型,见BERT分类微调模型,训练用 Adam 与六轮迭代,见训练循环与预测函数。测试阶段把预测 id 映射回文字,并通过注意力对比发现 [CLS] 开始关注“泄露”“辟谣”,见测试与注意力分析。全章说明:预训练模型的威力不在结构本身,而在数据准备与微调方式,数据准备工作仍比较烦琐,却正是复用预训练模型的关键。

原书依据 · 14 处

第15章 用GPT-2生成文本

本章从“生成”这一侧补齐了上一章的 BERT 分类视角。开篇先立起对照:BERT 双向看上下文,GPT-2 单向只看左侧,见GPT-2单向Transformer;这种自回归结构决定了后者更适合续写而非填空。15.1 节讲 GPT-2 的下游用法,它与 GPT 的最大不同是不改结构、不更新权重,只靠加引导字符改写输入,见GPT-2无监督下游处理;独角兽续写与 it 指代判断两个例子则直观展示了它的生成与推理能力,见提示续写与常识推理。15.2 节进入实操:纯按最大概率选词会陷入重复循环,因此要用 top-k 从概率前 k 大里随机采样,见top-k随机采样;在此基础上,用 GPT2Tokenizer 编码提示、GPT2LMHeadModel 加载模型并循环前向,就能生成新闻,见GPT-2新闻生成流程。本章的生成流程可统一看成加载、提示、采样、循环、结束五个环节,见GPT-2文本生成流程。15.3 节进一步用《罗密欧与朱丽叶》做微调:按 512 标识符分段、DataLoader 组织、Adam 训练 30 轮,再按提示生成 500 词并限制长度,见戏剧文本微调流程;结果学到戏剧口吻却仍缺逻辑,提示数据与训练量是关键。小结把分工说透:BERT 用 Encoder 擅理解,GPT 用 Decoder 擅生成,见Encoder与Decoder分工。两章合看,预训练模型的选用本质上是任务性质与结构归因的匹配。

原书依据 · 8 处

第16章 Embedding技术总结

作为全书收官章,本章先做回顾再做展望。回顾部分指出 Embedding 能表示语句、浏览轨迹、类别特征与物品,关键在“表示是否反映背后逻辑”;其意义可归为让语言可计算、降维、降计算复杂度、训练中持续学习四方面,见Embedding的四重意义。从学习方法看,它由多层神经网络的静态表示走向 ELMo、BERT、GPT 等借助 biLM、MLM 与 Self-Attention 的动态表示,从而随上下文变化并捕捉长依赖,见静态到动态表示。在衍生层面,拼接、线性与交叉组合以及 bit-wise/element-wise/vector-wise 的粒度区分,支撑了 xDeepFM、AutoInt 等推荐模型,见Embedding衍生与交叉。然而维度靠超参数、各特征统一维度、长尾影响训练、可解释性不足等缺陷依旧存在,详见Embedding不足与优化。展望部分正是在回应这些缺陷:阿里用中心向量加残差的 Residual Embedding 提升簇内聚集,Google 用强化学习为高频特征分配更多编码位置并提出嵌入块与 SE/ME 选择。二者共同说明:Embedding 已无处不在,下一阶段的核心问题不是“要不要嵌入”,而是如何找到更好、更省、更透明的表示方式。

原书依据 · 4 处

附录A 基于GPU的TensorFlow 2+与PyTorch 1+升级安装

本附录解决的是一个很实际的问题:把旧的 GPU 深度学习环境升级到 TensorFlow-GPU 2.0 与 PyTorch 1.x。升级不是简单替换一个 pip 包,而是驱动、CUDA、cuDNN、框架四层版本链的联动。A.1 到 A.3 先做环境分析:原环境为 Python 3.6、TF-GPU 1.6、Ubuntu 16.04 和 387.26 驱动,而 TF2 要求 CUDA 10 以上、驱动不低于 410 且支持 Python 3.7,因此升级驱动是关键路径,见升级前环境分析和驱动与CUDA对应。A.4 到 A.6 是动手安装:PPA升级显卡驱动记录了清除旧驱动、加 PPA、安装 418 并重启验证的流程;安装Python3.7说明删掉旧 anaconda3 后用 Anaconda 2019.10 重装;conda装TF2与pip装TF2对比两条路线,前者自动带 CUDA/cuDNN,后者需手动三步且注意逆序卸载。A.7 与 A.8 让环境可用且可验证:Jupyter远程配置讲生成配置、设密码密文和后台启动,TF2GPU安装验证用 is_gpu_available 返回 True 作判定。A.9 与 A.10 用 MNIST 实例检验多卡效果:MNIST建模流程覆盖预处理、建模、编译与训练;镜像策略原理解释 MirroredVariable 与 NCCL All-reduce;分布式训练实施给出 strategy.scope、全局批量、分发数据集与 reduce 的落地代码。A.11 到 A.13 补充取舍与排障:conda装TF优势从 MKL-DNN 与自动依赖说明为何推荐 conda;PyTorchGPU安装按驱动选 CUDA 版本并给出 conda/pip 命令;清华镜像改源解决下载慢与连接失败。整条链路的教训是:先确定版本约束再动手,能避免大量返工。

原书依据 · 14 处

附录B 语言模型

附录 B 把预训练模型依赖的语言模型目标系统化,是理解 ELMo、BERT、XLNet 等模型差异的关键。起点是:预训练模型(PTM)在大量无标注数据上训练,通常引入语言模型作为目标,按目标不同可分为三类,见PTM三类语言模型。第一类是自回归语言模型,按从左到右逐词生成,本质是对文本序列联合概率的密度估计,天然适合生成任务,但顺序拆解使它无法利用双向上下文,代表为 ELMo 与 GPT 系列。第二类是自编码语言模型,用加噪输入的编码—解码做降噪表示,BERT 通过 [MASK] 遮掩再由上下文恢复,因而能得到双向特征,但独立性假设带来有偏估计,且 [MASK] 噪声在微调阶段消失造成预训练与微调不匹配,也限制了它在生成任务上的直接使用,详见自编码语言模型。第三类是排列语言模型,作为广义自回归,它采样序列的各种排列、只改变标识符预测顺序而不改变位置,把顺序拆解变为随机拆解以获得双向表征,代表是 XLNet。三类目标的分解方式与可见上下文不同,正对应了不同预训练模型的适用边界:要生成、要双向理解,还是要兼顾两者,决定了该选择哪种语言模型作为预训练目标。

原书依据 · 2 处

跨章综合

跨章看,本书把Embedding当成一条贯穿线:第1章的语义向量、第9—13章的推荐向量空间、第14—15章的预训练语言模型,本质都是「用任务定义的相似性把对象排布进向量空间」。[[万物皆可嵌入]] 在推荐系统里化为 [[Airbnb实时个性化向量空间]],在文本里化为 [[BERT整体架构]] 的上下文向量,在表格数据里化为 [[实体嵌入神经网络]] 的低维输入。

方法上,注意力是共同底座:Transformer([[Transformer整体架构]])既是第5章的原理对象,也是第7—8章 BERT/GPT 优化的骨架,还是第12章翻译实例的实现核心,第14章 BERT 分类与第15章 GPT-2 生成不过是其两种使用姿态。结构图卡 [[注意力计算架构]]、[[Transformer英译中总体架构]] 展示了同一机制在不同章的形态。

实践层面,第2章的获取方法、第10—11章的特征工程与第A章的环境配置构成工程闭环:先把嵌入拿到手,再验证它对任务的增益,最后有可运行的工具链。[[Embedding衍生与交叉]] 与 [[Embedding不足与优化]] 给出边界与下一步方向。

发散与实践(计划)

以下为基于书中证据整理的实践方向,均为计划,尚未执行。

  1. 词向量对比实验:在公开中文语料上分别用 CBOW 与 Skip-Gram 训练词向量,用 [[word2vec两模型对比]] 的维度比较两者的语义类比表现,输出对比报告。
  2. 注意力可视化:用 BERT 的注意力权重可视化某句中文分类的判定依据,对照 [[BertViz头视图可视化]] 的思路验证模型关注点是否符合直觉。
  3. 表格数据嵌入增益复现:在结构化数据集上复现独热编码与 Embedding 两条路径,依据 [[项目双维度对比设计]] 的方法比较性能,记录 Embedding 带来的相对提升。
  4. 推荐向量空间构建:仿照 [[点击会话与短期偏好]] 的会话序列思路,为一个小规模点击日志构建用户/物品嵌入,评估召回质量。

这些计划对应全书「概念→机制→验证」的结构,交付物为实验记录与可复现脚本,不代表已实际运行。

生成进度与管理记录

《深入浅出Embedding:原理解析与应用实践》阅读概览

  • 书名:深入浅出Embedding:原理解析与应用实践
  • 作者:吴茂贵、王红星
  • 出版社:机械工业出版社,出版日期 2021-11-11
  • 执行模式:light
  • 建档 Skill 版本:v24
  • 建档进度:done
  • 优先级:P4
  • 评级:经典原理(高信息浓度 + 高稳定性:Embedding/注意力/预训练模型机制稳定可迁移,工程细节按当时框架版本)
  • 内容形态:概念解析型为主体,第二部分(第10—15章)为操作手册型实例
  • 原书:books/20260910/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星) .epub
  • 已读正文:前言 + 第1—16章 + 附录A/B(共 19 个实质单元;第一部分/第二部分扉页为非正文排除)
  • 整书笔记:_book_note.md(23 sections / 212 primary / 212 sources)
  • 阅读覆盖:_coverage.md
  • 知识卡:212 张(cards/)
  • 实践卡:3 张(ideas/)
  • 实践候选筛选:done

章节进度追踪表

章节号 章节标题 状态 卡片数
00 前言 done 3
01 第1章 万物皆可嵌入 done 20
02 第2章 获取Embedding的方法 done 12
03 第3章 计算机视觉处理 done 11
04 第4章 文本及序列处理 done 7
05 第5章 注意力机制 done 30
06 第6章 从Word Embedding到ELMo done 6
07 第7章 从ELMo到BERT和GPT done 12
08 第8章 BERT的优化方法 done 9
09 第9章 推荐系统 done 8
10 第10章 用Embedding表现分类特征 done 11
11 第11章 用Embedding提升机器学习性能 done 14
12 第12章 用Transformer实现英译中 done 21
13 第13章 Embedding技术在推荐系统中的应用 done 6
14 第14章 用BERT实现中文语句分类 done 14
15 第15章 用GPT-2生成文本 done 8
16 第16章 Embedding技术总结 done 4
A 附录A 基于GPU的环境升级安装 done 14
B 附录B 语言模型 done 2

非正文排除

spine项 类型 排除理由
titlepage.xhtml 书名页 无正文
copyright.xhtml 版权页 无正文
TOC.xhtml 目录 纯目录
Chapter3.xhtml 第一部分扉页 分区标题页,无实质讲解
Chapter13.xhtml 第二部分扉页 分区标题页,无实质讲解

实践卡进度

序号 实践标题 实践方式 状态 关联章节 产出
1 词向量对比实验 实验复现 done 第1—2章 ideas/idea-001
2 注意力可视化 可视化分析 done 第5/14章 ideas/idea-002
3 表格数据嵌入增益复现 实验复现 done 第10—11章 ideas/idea-003

实践候选筛选:done

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

暂无公开主题。