来源书籍

文本上的算法——深入浅出自然语言处理

Skill 版本:v24 81 张卡片

路彦雄 · 人民邮电出版社

全书导读

这本书回答一个很具体的问题:一堆文字交给机器,机器凭什么能”懂”一点?作者的写法是先讲清一个最小原理,再指出这个原理在真实场景里被什么条件卡住,然后引出下一个方法。全书分理论与应用两篇:理论篇(第1–3章)铺基础——概率与信息论里的几个量、最优化与梯度下降、机器学习的基本范式与常见模型;应用篇(第4–8章)落到工程——怎么算得更快、术语体系、搜索引擎如何建索引与排序、机器学习如何用于预测、以及自然语言理解到底难在哪。

它不写成工具手册,也不追求公式完备。作者的取舍是”讲明白一个机制为什么成立”,所以书里大量使用比喻与生活例子,但每处比喻都落回一个可验证的技术结论。读书时的正确姿势是:记住比喻想表达的结构,再用技术语言复述一遍,否则容易只记住故事。

章节之间不是严格的线性依赖:第1–2章是后文的公共语言,第3章是模型总览,第4章讲算力与工程约束,第5–8章才进入文本处理的具体环节(索引、排序、预测、理解)。如果只关心搜索,可先读第5–7章;如果关心模型原理,第2–3章要慢读。

全书主线

全书的主线可以概括成一句话:把”理解文本”这个模糊目标,拆成一串可以计算、可以评估、可以优化的小问题。这条主线有四个台阶。

  1. 把语言变成可计算的量。 词频、TF-IDF、向量空间、概率分布——第1、5章的这些工具做的事,是把”这段话讲什么”变成”这个向量离那个向量多近”。一旦变成向量,比较、排序、聚类才有定义。
  2. 把”好”定义成一个可优化的目标。 第2章讲最优解,第3章把它落到损失函数与梯度下降:模型好不好,不再是感觉,而是一个可以求导、可以下降的数。这是全书的技术枢纽。
  3. 把计算放到能承受的工程约束里。 第4章提醒:算法再漂亮,若单机算不动就没有意义。程序优化、分布式、MapReduce 决定了哪些模型能真正上线。
  4. 把方法组装成系统。 第6–8章分别对应搜索、排序预测与语言理解:倒排索引解决”找得到”,排序模型解决”排得准”,语言理解则暴露前两步回避掉的歧义问题。

四个台阶之间是循环而非流水线:理解阶段发现的新问题,会反过来要求新的表示与新的目标函数。

前言

这本书的来源是一份个人工作笔记:刚毕业时把读书和读论文的心得记在博客、后来又转到笔记软件里,积累久了觉得零散,才整理成正式文档,公开后收到读者反馈,进一步扩充成书。目标读者是计算机相关专业的学习者以及做机器学习、自然语言处理的从业者,也希望对文本技术好奇的普通读者。定位因此不是教材,而是一张覆盖面较广的路线图:先把术语和概念之间的关系铺开,让读者知道某个问题属于哪一类、通常用什么手段处理。

写法上有一个明确的取舍:只保留必不可少的公式,抛弃繁琐的证明,用口语化的表达直接讲算法的核心,追求深入浅出。好处是入门门槛低,读者能先建立整体印象而不被推导卡住;代价是严格性被让渡出去,收敛条件、假设成立的范围、参数取值的边界往往只在例子里暗示,直接照搬到真实数据上容易失效。合理的用法是把它当作索引和地图,认清概念之间的依赖之后再回到原始论文核对条件。

全书分两篇八章。理论篇是第1至3章,其中第1章回顾概率论和信息论的基础数学,第2章讲最优化,第3章才讲机器学习,前两章明确是为第3章打基础。应用篇是第4至8章:第4章讲计算性能,是全书中唯一偏工程的一章;第5章讲文本处理的基本术语,相似度计算是其中的重点;第6章拆解一个工业搜索引擎需要哪些技术点;第7章讲推荐系统;第8章讨论理解语言的难点,涵盖自然语言处理和对话系统。这个顺序意味着基础概念一旦跳过,后面的应用章节会反复出现未解释的名词。

本章展开:全书的两篇与依赖顺序、口语化写作的取舍。

原书依据 · 2 处

第1章 你必须知道的一些基础知识

本章复习两套工具:概率论和信息论。概率描述事件发生的可能性,核心前提是大数定理——样本足够多时,观测到的频率无限接近真实概率。正因为有这条定理,后面才能用数出来的词频、共现次数去估计无法直接观测的概率分布。联合概率 p(x,y) 描述两个事件共同发生,条件概率 p(y|x) 描述已知 x 后 y 的概率,两者分别对应生成模型与判别模型;期望是取值与概率的加权和,方差衡量数据偏离期望的程度,即波动性。

信息论给”信息量”一个可计算的尺度。熵衡量单个随机变量的不确定性:概率分布越平均越难猜,熵越大;小概率事件一旦发生,带来的信息更多。联合熵衡量一对变量共同的不确定性,条件熵衡量已知 X 后 Y 还剩多少不确定性。相对熵(KL 距离)换个对象,衡量同一空间里两个概率分布的差异,它不满足对称性和三角不等式,因此不是几何意义上的距离,其物理意义是用 q 编码 p 时平均多花的比特数。互信息衡量两个变量的相关程度,本质是联合分布与独立假设之间乘积的 KL 距离,所以 X 与 Y 无关时为 0。交叉熵则是用 q 编码 p 的绝对代价,等于 p 的熵加上 KL 距离。

这些量落到文本上就有了直接用途:把词当随机变量,词的互信息衡量两个词的相关程度,算它只需要词频、词频和限定窗口内的共现频次,三个统计量都能拆成计数任务,适合 Map-Reduce 在超大语料上跑。另一条主线是贝叶斯法则:后验概率等于似然乘先验除以标准化常量,它把难以直接统计的量换成可以从语料数出来的量,因此机器翻译、查询纠错、搜索排序都以它为基础。

贝叶斯法则最完整的演示是中文分词。查字典配合最大匹配法会在”学历史知识”这类句子上产生歧义,正向切成”学历/史/知识”,反向切成”学/历史/知识”。概率化的做法是求使 p(A|S) 最大的切分 A,用贝叶斯法则去掉常数 p(S)、把 p(S|A) 近似为 1,问题就变成最大化 p(A);再假设词只依赖前一个词,p(A) 变成相邻词条件概率的连乘,每个因子用共现次数相除即可估计。但 Zipf 定律让大多数词对在语料里出现极少,零概率会毁掉整个连乘,于是必须平滑。即便如此,工业系统受性能限制,分词消歧更多用序列标注、共现信息、词的左熵右熵和词典,而不是语言模型。

本章展开:熵是不确定性的度量、KL散度不是真正的距离、交叉熵是编码代价的绝对值、词的互信息靠共现统计、贝叶斯法则拆开三个部件、分词歧义写成概率最大化、数据稀疏逼出平滑。

原书依据 · 7 处

第2章 我们生活在一个寻求最优解的世界里

本章把机器学习还原成最优化问题:找一个函数 f(x) 和约束,使它在某个目标上取最小值。目标函数的来源是”真实模型不可知”——如果能知道真实模型就不需要学习了,所以只能设计一个近似模型,再用损失函数度量它与真实输出的差距。常用损失有平方损失、绝对损失、合页损失和似然损失,后两者分别带有取值约束和”最小化负对数似然等于最大化似然”的含义。选哪种损失,等于声明什么样的错误更不可接受。

理想目标是让期望风险最小,但真实模型未知,期望风险无法计算。可行的替代是拿人工标注的样本对,用标注值代替真实输出,在样本上求平均损失得到经验风险;大数定理保证样本足够多时经验风险逼近期望风险。问题在于样本永远有限,模型足够复杂时可以把训练集拟合得毫无误差,遇到新数据却很差,这就是过拟合;反之训练集都拟合不好则是欠拟合。于是对模型复杂度加一项惩罚,得到”损失 + 正则项”的结构风险最小化。L0 数非零参数,L1 取绝对值和、倾向产生稀疏解,L2 取平方和、倾向把参数整体压小以避免过拟合。

模型定下来后还有选哪个模型的问题:随机切分训练集与验证集,在训练集上拟合多个候选,在验证集上比较误差取最小。这里引出偏差与方差——偏差衡量单个模型自身离真实模型多远,方差衡量它相对”所有模型平均值”的波动多大,并默认平均值可以代表真实模型。模型越复杂偏差越小、方差越大,最好的模型是两者之和最优的那个。

参数估计有两条路线。频率派认为参数客观存在只是未知,用最大似然估计:写似然、取对数把连乘变求和、求导解出参数;它只用见过的数据,样本少时会给出荒谬结论。贝叶斯派认为参数本身也是随机变量,关心后验 p(θ|x),但归一化要对所有参数积分、通常算不动,于是退一步只取后验概率最大的 θ,即最大化”似然 × 先验”。多出的先验项相当于正则化,所以最大似然对应经验风险最小化、最大后验对应结构风险最小化;样本足够多时两者趋于一致,样本为零时结论完全由先验决定。

求解分两类:有解析解的直接求导令其为零;没有解析解的用数值方法。梯度下降沿负梯度方向迭代,学习率控制步长,但每次迭代要遍历全部样本;随机梯度下降每次只用一个样本估计梯度,可并行、代价低,但停在最优解附近;mini-batch 取折中,大规模训练也常用 LBFGS 等算法加速收敛。有约束问题通过拉格朗日乘子法转成无约束问题,但要求最优解必须满足 KKT 条件;原问题难解时可求对偶问题,目标与不等式约束为凸、等式约束为仿射等条件下强对偶成立,两者解一致。

本章展开:损失函数量的是误差、用经验风险逼近期望风险、正则化给复杂度定价、偏差与方差的分工、最大似然估计的三步、最大后验只取后验的峰、梯度下降与它的随机版本。

原书依据 · 7 处

第3章 让机器可以像人一样学习(上)

机器学习要解决的是“看到样例后形成判断规则”,拆开就是训练样本、特征、模型三件事。特征是描述样本的可计算侧面,模型是 y=f(x) 的映射,样本则是带标注或不带标注的实例集合,标注与否划出了监督与无监督的分界。作者的汽车摩托车故事把三者串起来:模型一太简单,连训练集都分不对(欠拟合);模型二把噪声也学进去,新样本判错(过拟合);放宽条件并给条件加惩罚的模型三才接近可用。结论是机器学习只能求近似解,泛化误差而非训练误差才是评价标准。

特征决定模型的上限,而特征没有通用配方。特征工程通常包含选取、离散化、交叉、修正四步:控制维度以避免稀疏、把连续年龄切成一热向量、把性别与商品组合、对低曝光样本做平滑。这一节还区分了判别式与生成式:前者直接学 p(y|x),只定边界,有限样本即可;后者学 p(x|y) 与 p(y),要刻画每一类的完整分布,样本需求与学习复杂度都更高。生成式可推出判别式,反之不成立,选择取决于要边界还是要分布。

有了特征与样本,就要选模型结构。垃圾邮件分类说明线性回归的输出值域不受限,必须用 sigmoid 压到 (0,1);而平方损失叠上 sigmoid 会失去凸性,于是改用伯努利似然做最大似然估计,梯度形式与线性回归同构,可用梯度上升快速迭代,多分类则换成 softmax。逻辑回归假设特征独立,表达不了“女性×化妆品”这类组合,FM 用矩阵分解把成对权重写成两个隐向量的内积,参数从 n(n+1)/2 降到 kn,稀疏样本之间还能互相借力。

最大熵模型给出另一条建模路线:已知的统计事实必须满足,未知部分一律均匀对待。篮球最后三秒的防守例子说明,凭空假设某个普通球员不会出手会带来额外风险。落到数学上,约束是模型期望等于样本期望,目标是在约束下最大化条件熵,用拉格朗日对偶可解出指数族形式,参数则需 IIS、LBFGS 等数值方法。CRF 在此基础上引入上下文,条件概率是全局最优,因而更适合分词、词性标注、实体识别这类序列标注任务。

主题模型试图回答“文档在讲什么”。它把主题近似为一组代表词,并引入词袋假设:文档是词的无序集合,语法与词序被丢弃。PLSA 用隐变量 z 描述“文档选主题、主题选词”的生成过程,参数规模为 N×K+M×K;由于参数耦合且 z 不可观测,只能用 EM 反复抬高似然下界,得到局部解。LDA 给参数加上 Dirichlet 先验,借助与 Multinomial 的共轭性抑制过拟合,但后验无法解析求解,需变分 EM 或 Gibbs 采样近似。

深度学习并非另起一类模型,它的目标是把人工提取特征这一步交给网络自己完成。感知器只有一层,逻辑回归可视作单层网络,SVM 可视作隐藏层为核函数的浅层网络,表达能力都受一层结构限制。BP 网络增加隐藏层,形成输入—隐藏—输出三层,正向传播逐层做加权求和再套激励函数,把原始特征变换成新的表示,最后由输出层给出预测。参数如何训练属于后续内容,本章只走到正向计算。

本章展开:机器学习的三要素、欠拟合与过拟合、特征工程的四个动作、判别式与生成式模型、逻辑回归为何弃用平方损失、因子分解机用隐向量解稀疏、最大熵:未知处不做假设、词袋假设与主题模型、隐变量模型的近似求解、从感知器到BP网络。

原书依据 · 10 处

第3章 让机器可以像人一样学习(下)

承接上篇的网络结构,这部分先回答参数怎么求:前向传播得到每层输出,用平方损失或似然损失衡量与目标的差距,再让误差从输出层往输入层逐层回推,每个单元记一个 delta,按 delta 与本层输入算出权重和偏置的更新量,乘学习率累加,上一轮的更新量再按冲量率加一次以抑制震荡。书中附了一份 C++ 实现,把前向、输出层 delta、隐藏层 delta、冲量、更新四步写在一个类里,可见反向传播不过是链式法则在层间的机械重复。链条一拉长就暴露问题:初始值随机容易落进局部最优并过拟合,层数一多梯度越往前越稀,而且只吃标注数据,海量未标注文本被浪费。

为绕开深层网络的训练困难,早期深度学习采用贪婪逐层:先无监督单独训练一层,把输出当作下一层输入一路堆上去,最后用有监督信号自顶向下微调。由此分出两条路线,一是无监督学特征再接传统分类器,二是整网逐层预训练、顶端加 softmax 一起训练;代表模型有 DNN、CNN、RNN、GAN、Seq2Seq,共同前提是海量数据和 GPU 算力。文本这边,把文档表示成词典长度的稀疏向量虽然简单,却算不出“电脑”与“计算机”的相似性,语义没有被编码进位置,于是问题变成:能不能学出一种带语义的向量表示。

词向量的来源是语言模型:用前 n−1 个词预测第 n 个词,查表得到的词向量矩阵在训练结束后顺带就是结果,NNLM、LBL、RNNLM 都是这个套路,区别只在网络怎么算。Word2Vec 反过来直接以词向量为目标,CBOW 用上下文预测中心词,skip-gram 用中心词预测上下文;输出层要对整个词表归一化,代价太大,于是有分层 softmax 和负采样。检验词向量主要看下游任务指标,也可算相似度做类比,但类比只在热门词上成立,长尾词很差,效果明显随语料规模和领域纯度变化。

词表示只能一词一向量,遇到“苹果”“小米”这类多义词就不够用,书中给出一个多向量模型,把类别信息融进训练,融合方式有主题模型、词聚类和先验概率三种,前两种都对长尾无效。句子表示更麻烦:最省事是把词向量求和平均或用 2-gram,但丢掉了语序;加句法结构的 ReNN 更合理;给每句一个 id 或把句子当词来训练能学到向量,却推不出新句子;Skip-Thought 用当前句预测前后句,可以处理新句子。作者的判断是,好的句子向量应该和具体任务一起学出来。

深度学习部分按“损失—优化—结构”展开。语言模型输出词表维度的 softmax,标签是 one-hot,此时交叉熵退化为真实词的负对数似然;梯度下降太慢,于是有动量、AdaGrad、AdaDelta、Rmsprop 这些改步长的办法。RNN 把隐层连起来利用上下文,代价是 BPTT 上的梯度爆炸与消失:爆炸用阈值裁剪就能压住,消失只能改结构,LSTM 用细胞单元和三个门控筛选记忆,GRU 更简,CW-RNN 用不同时钟周期分组,实测差别不大。更关键的一步是 attention:定长 state 装不下长上下文,改为按权重取用输入序列。其后 CNN 用卷积和池化省参数,GAN 用生成器与判别器对抗,应用上则有对话、阅读理解、答案匹配三类。

最后一节把其余传统模型补齐:kNN 与 k-means 是最近邻分类与聚类;决策树按信息增益或增益比选分裂特征;Bagging 有放回采样并行训练再投票,随机森林再加特征随机;Boosting 串行,后一个模型专攻前一个分错的样本,GBDT 把“分错”换成负梯度并拟合回归树,还能把叶子节点当二值特征喂给线性模型;SVM 最大化几何间隔,用松弛变量容忍噪声,用核函数绕开显式升维。文本分类的传统做法是特征选择加分类器,深度学习则用 embedding 和网络自动学表示;评价用准确率、召回率、F1,以及 ROC 与 AUC。

本章展开:反向传播:误差从后往前算、深层网络的三个训练障碍、词袋为什么算不出近义、词向量是语言模型的副产品、CBOW 与 skip-gram 互为反任务、交叉熵为何等价对数似然、RNN 的梯度爆炸与消失、LSTM 用门控筛选记忆、Attention 突破定长向量瓶颈、CNN 靠卷积和池化省参数、防过拟合的八条实操、GBDT 用负梯度拟合残差树、文本分类:特征选择还是表示学习。

原书依据 · 13 处

第4章 如何计算得更快

本章从“程序为什么慢”讲起:一个 hello 程序要先从磁盘装载到主存,指令再从主存搬进处理器执行,大量时间花在数据搬运而不是计算上。存储器是分层结构,越靠上越快也越小,上一层可以看作下一层的缓存,硬件按块而不是按字节搬运。这决定了优化的基本方向——让数据尽量待在更靠上的层,并顺着访问的局部性来安排读写。

优化分三个级别:系统级(流程、负载均衡、分布式)影响最大,算法/数据结构级次之,代码级再次。快速傅里叶变换把 O(N^2) 降到 O(NlogN) 属算法级的质变;预计算 sigmoid 表、按类型分桶消除分支,则是空间换时间的典型代码级手段。机械盘读一次要付寻道、旋转、传送三段成本,内存几乎只有传送,SSD 省掉机械移动但仍受总线限制——这是“随机 IO 很贵”的物理来源,也是索引该放内存还是放盘的依据。

数据量超过单机能力时,出路不是买超级计算机,而是分治:把数据切开,多台普通机器各算一部分再汇总,代价是通信、汇总和故障处理,机器越多坏机器越成为常态。Hadoop 是这条路线的开源实现:HDFS 用一个 Namenode 管名字空间和数据块位置、多个 Datanode 存实际字节;MapReduce 把计算写成 Map(记录转键值对)与 Reduce(同键聚合),中间靠按 key 分组把同一个键汇聚到同一个 Reducer。

词频统计是这套机制的样板:Map 输出 (词,1),Shuffle 保证同词进同一 Reduce,Reduce 累加即得结果。它能随机器数扩展,是因为每个 Mapper 只读本地分片、聚合运算可结合,网络上传的只是按 key 归并后的中间结果;一旦计算需要全局信息(例如求中位数),这套结构就要多轮迭代或者退化。

本章展开:存储器分层与局部性、优化分三级,系统级最大、空间换时间:先算好再读、磁盘慢在寻道与旋转、分布式=用多机分治、同键聚合让计算可扩展、HDFS 用中心节点管块。

原书依据 · 7 处

第5章 你要知道的一些术语

这一章为后面的搜索与推荐准备共同词汇,核心是“怎么给一个词定权重”。tf 是某个词在一篇文档里出现的次数,代表局部重要性;df 是出现过该词的文档数;idf 用总文档数除以 df 再取对数,词越普遍值越接近 0。tf 乘 idf 同时照顾“这篇里出现得多”和“全库范围内稀有”,是后续所有权重方案的起点,也说明词的权重天然由局部与全局两个来源合成。

特征选择有三个常用度量:信息增益看有该特征与无该特征时系统熵的差,尺度直接是分类效果;卡方检验比较观察频数与理论频数,衡量特征与类别是否独立;互信息衡量特征与类别的共现程度。三者都是给单个特征打分、排序取前 N,也都不处理特征之间的冗余,选出来的特征可能彼此高度重复。

PageRank 换了信息源:不看网页自身内容,而看链接网络。A 链到 B 就是 A 给 B 投一票,票的分量取决于 A 的重要性和 A 的外链数量,阻尼系数 d 控制“按链接继续跳”的概率。计算上是给初值反复迭代求不动点,收敛性有专门论文证明;十亿网页的链接矩阵有百亿亿元素却极稀疏,实际迭代要靠 MapReduce 铺到集群上。

相似度计算的第一步是把对象表示成向量或矩阵,方法分两类:距离类(欧氏、曼哈顿、汉明、Jaccard、编辑距离、余弦、皮尔森)与哈希类(minhash 降维、simhash 让相近内容产生相近签名,多用于网页去重)。落到文本上,Bool 模型用“是否出现”的定长词典向量,tf*idf 换成带权值,BM25 补长度归一,Proximity 补词间位置,语义模型补主题,句法模型补句法树,深度模型直接把句子压成向量——每一步都在补前一步暴露的具体缺陷,代价是标注数据和计算量逐级上升。

本章展开:tf 是局部,idf 是全局、三类特征选择度量、PageRank 把链接当投票、相似度:距离与哈希、文本相似度先变成定长向量、相似度模型逐层加特征。

原书依据 · 6 处

第6章 搜索引擎是什么玩意儿

搜索引擎要解决的是:在万亿量级的网页里,不逐个计算也能给出排序。贝叶斯把 P(文档|查询) 拆成先验 P(文档) 与似然 P(查询|文档),再假设查询各词独立,似然就变成若干“词出现在文档中”的概率之积;每一项只与词和文档有关,可以离线算好,按“词→文档列表”存起来一次取全,于是有了倒排索引。这条推导同时解释了索引为什么存在、为什么能搬到线下,也暴露了代价:独立性假设不成立,必须靠 Query 分析补充约束、靠多队列归并拼回完整语义。

排相关性从来不是用一个模型打天下,而是一条逐层收窄的漏斗。召回从各分库读倒排、归并出万级候选;粗排用只吃词权与位置的便宜模型压到千级;精排再上语义匹配、文档质量与时间因子;最后由主控模块跨队列 rerank,加入时效、多样性、权威、点击等子模型。越往后候选越少、模型越贵,这个次序本身就是成本设计。它又和索引的分库策略咬合:按质量分高低两层先查高层,再按机器横向切片并行查、汇总归并。

流水线的入口是 Query 分析。词一级要做分词与专名识别、算词的重要性、算紧密度(哪些词必须连在一起出现);查询一级要判断意图与时效性,并做同义、纠错、省略等变换。变换必须整句进行,因为只换词会换到另一个实体上;每次变换就是一个新查询,各出一个队列再归并。词重要性用 tf×idf 时,查询里 tf 恒为 1,公式退化成只看 idf,所以要另造局部信息;重要性还决定哪些词可以省掉以扩大召回,省得太狠则语义漂移。

索引部分回答三个问题:结构长什么样(词→倒排链,链内按文档号递增,实际拆成词典、位置、属性、跳表四个库);归并怎么走(TAAT 用大数组换顺序访问,DAAT 用优先队列换小内存,大数据量偏 DAAT);怎么少算(跳表跳过文档号,但只帮 AND;WAND 用词贡献上界估分跳过整篇文档,并靠三条精确性条件保证结果不变;词级 and/or 则按重要性决定某词必须不必须出现,它依赖 term 重要性准,否则会把短板放大)。

排序模型从人工调参走到排序学习:Pointwise 把相关性等级当分类,Pairwise 用同查询的文档对做二分类,Listwise 直接优化 NDCG 一类指标。RankNet 以错对最少为目标,但 NDCG 非平滑无法求梯度,LambdaRank 索性直接定义梯度为“RankNet 梯度×交换后 NDCG 差值”,LambdaMART 再把它接到 GBDT 上。效果好坏要靠 MAP、NDCG、MRR 与 AB 测试判断。搜索引擎的盈利则来自广告,排序按质量乘出价,计费按下一名折算。

本章展开:索引把线上计算搬到线下、点击调权会自我强化、检索是逐层收窄的漏斗、爬虫就是遍历网页图、Query里的tf恒为1、term紧密度决定能否拆开、变换必须整句替换、归并:大数组还是优先队列、用得分上界跳过文档、词的and/or改变了剪枝、绕开损失定义梯度、索引拆成四个库。

原书依据 · 12 处

第7章 如何让机器猜得更准

推荐系统与搜索引擎相对:搜索由用户主动提交 Query,推荐则由系统根据用户行为被动推送,因而前者要精确、后者可以发散。系统的两个关键点是“用户”和“物品”,对二者怎么区分对待——一视同仁、先聚类再处理、还是完全个性化——组合出不同的算法。主流路线只有两条:基于协同过滤,和基于内容;此外还有按用户约束条件匹配物品的基于知识的方法。

协同过滤把评分排成用户乘物品的矩阵,核心假设是兴趣相近的人偏好相近。User-based 先算用户之间的相似度(常用皮尔森),取最相似的 N 个用户,用他们对目标物品的评分按相似度加权,加上目标用户平均分作偏置,得到预测值。Item-based 反过来先算物品之间的相似度(常用改进余弦,考虑均值),再按用户对相似物品的评分加权预测。前者每次请求都要找相似用户,计算频繁、扩展性差;后者可以在线下算好物品相似度,线上只查表,所以大型电商多用它。

协同过滤有两个结构性缺陷:评分矩阵极度稀疏,用户通常只看过极少物品,共同评分项少导致相似度不可靠;冷启动时新用户无评分、新物品无评分,两条路径同时失效。基于内容的推荐淡化用户,从物品属性(分类、主题、标签、文本)的相似度出发,做法分分类/聚类与搜索两种;搜索方法把用户兴趣当成 Query 去检索最相似的物品,可以复用搜索引擎的召回排序模型,区别只在于 Query 是用户明确写的还是系统猜的。

真实系统都是混合的:取用户画像,用多路召回从全量物品中粗筛出候选并粗排,再用机器学习模型(pCTR)精排,最后按时新性、地域性、多样性做策略调整后输出;用户的点击、评论、阅读时长又回流更新画像与模型,形成闭环。困难集中在多样性与精准性的平衡、时效性、质量保证、稀疏与冷启动;评价除准确率类指标外还看点击率、多样性和新颖性。而当前所谓的个性化,本质是把兴趣折衷成若干标签,加上各家平台数据彼此孤立,只能算伪个性化。

本章展开:协同过滤借相似者的评分、物品相似度适合离线算、稀疏与冷启动是硬伤、把用户兴趣当作查询、推荐的三段式框架、伪个性化:标签代表不了兴趣。

原书依据 · 6 处

第8章 理解语言有多难

自然语言处理要让计算机听懂人话,七十年来在两条路线上来回摆:早期是乔姆斯基式的符号主义,用有限状态自动机刻画语法、靠规则推理;20世纪80年代后统计方法兴起,90年代 IBM 的语音识别与机器翻译突破让联结主义占了上风。两者各有千秋,谁也替代不了谁,融合才是现实选择。深度学习带来的热潮让 NLP 再次成为热点,而这一章要回答的是:技术看起来很多,为什么“理解”依然遥远。

教科书式的流程是分层的:词法分析(分词、词性标注、专名识别)给出词,句法分析给出句法树和词间关系,语义分析给出句子的逻辑关系,最后才是知识抽取、问答等应用。真实的工程管线却常被剪断——句法分析很多项目直接不用,语义层按任务变形,有时抽出中心词就够用。专名识别、分词、词性标注本质是同一件事:给序列每位贴标签,找词的边界;边界规律的类别(人名、地名)效果好,边界发散的类别(音乐名、小说名)只能靠词表与规则补。

句法分析的主流是依存语法:核心动词是根,其余词以主谓、动宾、定中等关系挂在支配者下面。求这棵树有两条路,基于图的方法当作最大生成树全局搜索但特征局部,基于决策的方法把建树拆成 LEFT-ARC、RIGHT-ARC、SHIFT 的动作序列,快但贪心。语义分析更进一步,试图把句子写成逻辑表达式再交给机器执行,可多数句子写不出来,不同任务要不同表达式,只能用于封闭场景。

知识被分成无结构与结构化两类,后者以实体为核心写成 SPO 三元组,也就是知识图谱。图谱来源有限,要从海量网页里抽取,就要指代消解、实体消歧、关系抽取等一串技术。路线有两条:模板法用高质量种子关系对反挖模板、迭代滚雪球;模型法用端到端网络直接吐三元组。若主语与谓词已定,抽宾语就退化为候选片段的分类或排序。

对话系统把上述技术组装起来:问答型分语义分析、信息抽取、端到端三条路;任务型走 NLU 识别意图槽位、DST 追踪状态、Policy 决定动作、NLG 生成回复的状态机,本质是马尔可夫决策过程;闲聊型有规则、生成、检索三派。三类之中只有闲聊难以自动评价,其难度等同于停机问题。落到语言本身,组合爆炸、隐喻、粗糙歧义、场景与知识难以融合,让系统大多停在关键词层面。

本章展开:理想流程与真实管线、专名识别就是找词边界、依存句法的两种解法、句法分析为何难落地、语义分析写成逻辑式、知识图谱的两条抽取路线、任务型对话的状态推进、闲聊系统与评价的困境、组合爆炸让语义难以量化、歧义是NLP真正的难点。

原书依据 · 10 处

结语

结语把全书收束到人与信息的关系上:搜索引擎是用户主动去找,推荐系统是被动地把信息送到眼前,两者并不是竞争关系,而是同一需求的两面。作者同时提醒,说它们技术成熟只是就当下的技术和产品形态而言。以用户画像为例,今天系统给用户打一堆标签来表示兴趣,这只是折衷方案:贴同一标签的人兴趣未必相同,短期兴趣连用自然语言都难以描述,几个标签就更承载不了。

更深一层的约束在数据与隐私。各家公司的产品彼此孤立,每个产品只能看到用户的一部分行为,兴趣刻画因此既不准也稀疏。要提高精度就得观测得更细,极端想象是电影《鹰眼》里那种能监控到秒级的系统,而个性化走得越远,用户隐私越少,二者是结构性的矛盾,不是实现上的瑕疵。所以今天的推荐系统更像一个无需用户选择的关键词订阅器:按标签订阅,而不是真的懂人。

理想形态是搜索退化为对话:直接给出用户想要的结果,用户说不清时交互确认,并记住他的偏好与情绪。但技术只能渐进,要达到这种“浅层智能”,之前还少不了基础产业升级、互联网化和自动化几个阶段,就像汽车工业也走过马车、蒸汽汽车到内燃机的路。对工程师的劝告是带着工作中遇到的问题去找新技术,别盲目跟风。

本章展开:个性化越深隐私越少。

原书依据 · 1 处

跨章综合

表示决定上限。 第5章的 TF-IDF 与第8章的语义表示,是同一件事的两个阶段:前者把词当成独立的维度,后者试图让相近的词共享维度。搜索效果的天花板,往往在选表示时就定了,后面再调排序参数只能在这个天花板下改善。

优化是共用的引擎。 第2章的”寻求最优解”看起来抽象,但第3章的神经网络、第7章的排序模型都在用它。理解梯度下降的步长与损失函数的形状,比记住某个模型的结构更有迁移价值。

工程约束会改写算法选择。 第4章的程序优化与分布式不是附属品:倒排索引之所以要压缩、排序模型之所以偏爱线性或浅层结构,都是因为线上延迟与内存预算。同一个问题在离线与线上会有不同最优解。

歧义是绕不过去的。 第6–7章可以用统计方法绕开”理解”,但第8章说明这种绕开有边界:当问题需要指代消解、意图推断或常识时,纯统计的相关性不够用。这也是全书留下的开放问题。

发散与实践

以下为读者延伸,不是作者观点,也未执行。

  • 用第5章的 TF-IDF 手算一个三文档小例子,观察停用词与文档长度对权重的影响。
  • 用第4章的思路给自己的一个脚本做性能剖析,找出真正的瓶颈在 CPU、IO 还是内存。
  • 用第6章的倒排索引结构手写一个百行以内的检索demo,体会”为什么快”。
  • 用第8章的歧义清单审查一个线上问答/搜索场景,列出当前方法无法处理的问句类型。
生成进度与管理记录

文本上的算法——深入浅出自然语言处理

评级:经典原理(信息浓度高 × 稳定性中高)

评级理由:全书的重心是”这个算法为什么这么设计、它在什么条件下成立”,而不是某套工具的调用方式。概率与信息论的基本量、最优化与梯度下降、机器学习的三要素(样本/特征/模型)、倒排索引与向量空间模型、TF-IDF 的权重结构、排序学习的评估口径——这些推理不随框架版本变化。稳定性的折扣来自应用篇:第4章对 Hadoop 与 SSD 的讨论、第8章对深度学习当时进展的描述,都带有明显的时代印记,具体工具与模型榜单会过时。作者刻意采用口语化讲解与比喻,抛弃繁琐证明而直取算法核心,真正的技术结论集中在每节的后半段,因此阅读时应把故事当作引子、把结论当作知识。

执行模式:light

建档进度:done

全文阅读:spine 18 项;实质正文 10 项(前言、第1–8章、结语;第3章因 EPUB 拆成两个文件,按上/下两段处理,合计约 111,833 个非空白字符),按 Go nodeText + Fields 归一化口径逐项完整读取;非正文 7 项逐项排除(见下表)。

整书笔记:_book_note.md

覆盖记录:_coverage.md

工作流交接:_workflow.md

章节进度追踪表

章节号 章节标题 状态 卡片数
00 前言 done 2
01 第1章 你必须知道的一些基础知识 done 7
02 第2章 我们生活在一个寻求最优解的世界里 done 7
03 第3章 让机器可以像人一样学习 done 23
04 第4章 如何计算得更快 done 7
05 第5章 你要知道的一些术语 done 6
06 第6章 搜索引擎是什么玩意儿 done 12
07 第7章 如何让机器猜得更准 done 6
08 第8章 理解语言有多难 done 10
09 结语 done 1

非正文排除

spine项 类型 排除理由
titlepage.xhtml 封面 仅封面图,无文字
text/00001.xhtml 封面页 仅 5 个字符,无内容
text/00002.xhtml 版权信息 书名、出版方、ISBN 等出版信息
text/00003.html 内容提要 图书宣传文案
text/00005.html 篇章页 「理论篇」分隔页,仅 62 字符
text/00010.html 篇章页 「应用篇」分隔页,仅 75 字符
text/00017.html 参考文献 纯文献条目列表,无论述正文

待关联术语

术语名 出现章节 一句话语境

引用文献

标题 类型 出现章节 一句话语境

资金安全问题案例

问题标题 问题卡 解决方案卡(如有) 出现章节 一句话说明

实践卡进度

序号 实践标题 实践方式 状态 关联章节 产出
1 手写百行倒排索引 最小实验 done 第6章 ideas/idea-001-手写百行倒排索引.md
2 给日常脚本做一次性能剖析 真实任务 done 第4章 ideas/idea-002-给日常脚本做一次性能剖析.md
3 用歧义清单审查问答场景 证据验证 done 第8章 ideas/idea-003-用歧义清单审查问答场景.md

实践候选筛选:done

未采用候选与原因:第7章的推荐排序离线评测(需要真实用户行为日志与曝光数据,手头无可用且可核验的数据集)、第3章的 BP 网络复现(书中给出 C 代码片段但未给完整可编译工程,复现成本高于最小实验)、第6章的分布式索引构建(需要多节点环境,单机无法验证扩展性结论)。

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

暂无公开主题。