深度表征学习
深度学习与传统机器学习的关键区别,是原始数据可以直接输入网络,不再需要人先做特征工程。多层网络逐级学习特征:以汽车图像为例,前面的卷积层识别边缘、拐点,后面的层在此基础上组合出车轮、车门等高级特征。当规则和人工特征难以穷举时,更值得投入的是能让系统自动学习表征的数据闭环。
主题对照
CNN、RNN、LSTM、Seq2Seq、GAN 的结构分工,以及检测、分割、修复、语音识别、语言模型这些任务怎样把表示学习落到具体输出上,各任务对归纳偏置的依赖有何不同。
深度学习与传统机器学习的关键区别,是原始数据可以直接输入网络,不再需要人先做特征工程。多层网络逐级学习特征:以汽车图像为例,前面的卷积层识别边缘、拐点,后面的层在此基础上组合出车轮、车门等高级特征。当规则和人工特征难以穷举时,更值得投入的是能让系统自动学习表征的数据闭环。
很多自然语言任务要从看得见的词序列推断看不见的结构,比如词性、分词边界、实体。隐马尔可夫模型把它建模为隐藏的状态序列生成可见的观察序列;条件随机场放宽了“只依赖前一状态”等假设,成为分词和命名实体识别的主流方法。共同的启发是:处理语言不能只看单个词,还要建模上下文中的状态转移。
词向量把语言符号变成可计算的对象。稀疏向量(独热)维数与词典一样大,只在对应位置为 1,任意两个词都正交,无法表达“意思相近”;密集向量把每个词映射成低维短向量,词义相近的词在空间中距离也近。语义搜索和问答匹配的前提,就是先让语言进入这样一个可度量的空间。
生成对抗网络由两个网络组成:生成器负责伪造数据,尽量接近真实样本;判别器负责判定数据是真实的还是生成的。两者形成博弈,训练时先固定生成器优化判别器,再固定判别器优化生成器,交替进行。当生成数据的分布与真实分布一致时,判别器无法区分真假,训练完成。
深度学习是一种表征学习方法,学习样本数据的内在规律和表示层次,在语音、图像识别上的效果远超以往技术。深度神经网络通过许多简单的线性变换逐层叠加出非线性变换,能拟合数据中的复杂关系。训练中也有典型难题:过拟合(可用 Dropout 缓解)、学习率等参数难调,以及 Sigmoid 激活下层数一多梯度弥散,直到 ReLU 出现才缓解。
全连接网络处理图像参数太多:一张 28×28 的手写数字图有 784 个输入,只接一层 15 个神经元就有一万多个参数。卷积神经网络让每个神经元只连接上一层的局部区域(感受野),并在同一特征图内共享卷积核权重,大幅减少参数。各层分工:卷积层用卷积核提取特征;激励层用 ReLU 等加入非线性;池化层下采样、减少运算量;全连接层在末端重新拟合。
传统神经网络(包括 CNN)的各个输入输出彼此独立,而“我是中国人,我的母语是_”这类任务需要依赖前文。循环神经网络引入“记忆”:每个时刻结合当前输入和上一时刻的隐藏状态给出输出,并把状态传到下一步,所以最擅长处理序列数据。它的难题是长期依赖,以及梯度爆炸、梯度消失,最常用的解决办法是改用 LSTM 或门控循环单元。
LSTM 是专门为解决普通 RNN 的长期依赖问题设计的,也是 RNN 得以成功应用的关键。它用三个门管理状态:遗忘门决定从上一时刻的状态中丢弃哪些信息;输入门决定把哪些新信息写入状态,两者一起更新状态;输出门从更新后的状态中过滤出当前时刻的输出。它学的不是记住一切,而是有选择地保留和遗忘。
Seq2Seq 突破了固定大小输入的限制,常用于机器翻译、对话机器人和语音识别。传统做法联合两个循环神经网络:编码器依次读入整句话,只保留最后一个隐藏状态,把整句话浓缩成一个内容向量;解码器从起始标记开始,用前一个输出作为下一步输入,逐词生成结果。它的优势是输入和输出的长度可以不同。
图像分类为整幅图像给出标签,语义分割则需要对每个像素预测类别,从而形成目标区域。后者必须兼顾语义特征和空间位置;若只把卷积特征压成固定长度分类向量,就难以直接得到与输入对应的像素图。语义分割只区分类别,实例分割还要区分同类的不同个体。
FCN 将分类网络的全连接层改为卷积运算,使输入尺寸可变;再对较低分辨率的特征图上采样并做像素分类。下采样带来的细节损失可能使小目标和边界难以恢复,需考虑多尺度特征融合。上采样可由转置卷积等方法实现,输出对齐仍需处理步幅、填充和裁剪,不能只凭“放大到原图大小”保证精度。
图像修复利用未遮挡区域及学到的图像规律推断缺失区域。输出不是恢复不可见的唯一真值,而是与上下文协调的合理估计;缺损越大、结构越复杂,不确定性通常越高。评估时既要看局部纹理,也要看边界连续性和整体语义,不能仅用生成图像是否清晰判断修复可靠。
自编码器通过编码和解码学习输入重构;用于图像修复时,可在完整图像上人为遮挡部分区域,让网络根据可见区域预测原像素。卷积层保留局部空间结构并共享参数。普通自编码器的“输入等于输出”目标与修复任务的“遮挡输入、完整目标”不同,训练掩码和损失区域需要明确设定。
GAN 由生成器产生候选图像、判别器区分真实与生成样本,竞争反馈推动结果接近训练数据的分布。用于图像修复时还应把可见区域作为条件或约束,使生成内容与周围图像一致;仅输入随机噪声不能保证填补指定缺口。高分辨率、复杂结构的稳定训练仍是挑战,清晰图像也可能不忠实于原场景。
RNN 把先前步骤的信息经隐藏状态传给后续步骤。若把图像像素或图像块按某种顺序展开,便可逐步预测缺失内容并利用已生成的上下文。空间邻接并不天然等同时间顺序,扫描路径会影响依赖表达,长距离结构及高分辨率计算仍难;原书对修复连贯性和样本规模的评价应视具体模型与数据而定。
目标检测的输出同时包含位置和类别:先找到可能含目标的区域,再判断其类别,并调整边界框。训练样本因此需要图像及目标框、类别标注。定位与分类是两个相关子问题,候选框覆盖不全会导致后续分类器无法找回遗漏目标;框的位置质量也会影响识别和评价。
R-CNN 先用选择搜索产生候选区域,再将不同大小的区域缩放到网络输入尺寸,提取卷积特征并分类,最后回归修正边界框。候选生成、特征提取、分类和框精修分阶段执行,区域大量重叠会重复计算并占用存储;多给候选框也不能无条件提高检测质量。
Fast R-CNN 将共享卷积特征、分类和边界框精修纳入同一检测网络,但候选区域仍由网络外部提供。Faster R-CNN 增加候选区域生成网络,并与检测头共享卷积特征,让候选提议也由网络学习。两者的关键差别是候选区域从何而来;“统一框架”不表示训练和推理没有多阶段结构。
自动语音识别把输入声音映射为语言中的语句及候选得分。传统模块化框架由声学模型、语言模型与解码器协作:声学证据描述声音对应关系,语言模型提供语句先验,解码器搜索候选。它与识别人是谁或生成语音不同;预测概率也不自动等于校准后的正确率。
语音连续且发音受上下文影响,声学模型需利用相邻帧或序列状态判断声学单位。拼接帧的 DNN 显式提供有限上下文,递归网络通过状态传递历史信息。更长历史不自动等于更好识别,采样、训练和噪声变化都会影响效果;网络仍包含建模假设,不能理解为完全不假设数据。
LSTM 同时传递细胞状态和隐藏状态,以遗忘门控制保留多少旧记忆、输入门控制写入、输出门控制当前隐藏输出。门控让信息有选择地跨时间传播,缓解普通 RNN 的长程训练困难,但不保证无限记忆或消除所有梯度问题。细胞状态常被解释为长期通道,隐藏状态并非严格只存短期信息。
声学建模可把 CNN 的局部时频特征、递归网络的时间依赖和前馈网络的表示映射组合。语音时频图适合局部卷积,但卷积的平移等变性不等于任意时频变化都无影响。多结构组合是否获益须按识别质量、延迟和计算成本比较,不能把互补性当作必然优于单模型的证明。
语言模型为词序列分配概率,并利用前文预测后续词。整句概率可拆成逐词条件概率相乘:P(w₁…wₙ)=P(w₁)·P(w₂|w₁)·…·P(wₙ|w₁…wₙ₋₁)。示例假设 P(我)=0.1、P(爱|我)=0.2、P(你|我爱)=0.5,则“我爱你”的概率为 0.1×0.2×0.5=0.01;语音解码时可用这类分数比较发音相近的候选句。高概率表示更符合训练分布中的模式,不等于语句事实正确或语法必然正确;比较模型还需考虑词表、分词和评估数据。
固定窗口的神经语言模型将前文词向量映射为下一词分布,紧凑表示使相似上下文能共享统计信息,但窗口以外的历史仍不可直接使用。RNN 用共享参数递归处理变长序列,隐藏状态压缩前文;理论可接收长历史不等于训练中可靠保留长依赖,顺序计算和梯度问题也带来代价。
把choosespain.com正确切分成choose Spain,模型只查语料中的词序频率;自然产生的文本能承载搭配规律,使数据驱动方法无需显式编码全部领域知识。
大语料让未见的词序组合更少,N元模型可用“愚蠢回退”等简单方法处理残余稀疏性。数据规模变化可能使过去复杂的平滑策略不再必要。
候选少时可穷举;存在可证明的非最优条件时可安全剪枝;搜索空间过大且无保证时才用启发式,接受不能保证全局最优。策略取决于空间规模与结构。
机器翻译和语言识别有大量自然产生的语料样例,语义解析则缺少自然生成的解析标注数据。判断数据驱动任务的可行性时,应先核对所需训练样本能否规模化获得。
训练集用于建模,校验集用于选方案;测试集评估未见数据,理想情况下用过即弃。但数据昂贵时可权衡复用,前提是避免用测试集反复调优造成过拟合;独立评估要求与算法类型无关。
语料库是文本集合;token是文本序列中的单词或标点,每种不同token是一个type,type集合构成词汇。统计相邻n个token的N元频次,就能从真实用语估计序列概率。词频高度偏斜,因此语料规模和低频处理会影响模型边界。
点击箭头逐层展开,点击卡片标题查看详情。路径上下文仅用于连接层级,不计入主题卡片数。
来源书籍
人机对话系统设计类
书籍类型:工程实践
清单覆盖 6/6
39 张卡片
来源书籍
分布式人工智能与多智能体类
书籍类型:工程实践
清单覆盖 7/7
35 张卡片
来源书籍
大数据与机器学习平台工程类
书籍类型:工程实践
清单覆盖 7/7
34 张卡片
来源书籍
数据科学实践类。全书虽为多作者案例集,但整体围绕真实数据项目的定义、获取、清洗、分析、建模、呈现与治理,符合端到端数据科学实践的判定范围。逐项对照必答维度:
书籍类型:未标注
类别清单尚未核对
229 张卡片
来源书籍
算法与数据结构类。按全文与现有卡核对七项;“已覆盖”表示保留了本书实际展开的部分,不表示穷尽该领域。
书籍类型:经典原理
清单覆盖 6/7
367 张卡片
主题索引
比较传统机器学习、深度学习与强化学习的学习方式、特征假设、模型取舍与数据反馈闭环。
主题索引
比较TF-IDF、向量空间模型与相关性反馈等排序依据,以及召回率与精确率在不同检索场景中的取舍。
主题索引
比较任务型、问答型、闲聊型对话的语义表示、意图与参数、多轮语境与澄清、检索与知识、训练回流与对话平台化设计。
主题索引
比较语料驱动的语言概率、平滑、词序依赖、搜索与纠错算法,以及语料规模和质量对NLP方法的约束。
与 2 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类
与 1 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类
与 1 张主题卡片存在结构化链接;共享 1 个其他主题;来自相同书籍;属于相同分类
与 1 张主题卡片存在结构化链接;来自相同书籍;属于相同分类
与 1 张主题卡片存在结构化链接;来自相同书籍;属于相同分类
与 1 张主题卡片存在结构化链接;来自相同书籍;属于相同分类