来源书籍

NLP汉语自然语言处理原理与实践 (郑捷)

Skill 版本:v24 经典原理(高信息浓度、高稳定性);主题机器学习;P4。 485 张卡片

郑捷 · 电子工业出版社 · 2017-01 · 第1版 · ISBN 9787121307652

全书导读

本书面向希望把汉语语言学知识接到自然语言处理算法与程序的读者。它不是只罗列工具:从字词、句法、语义场和认知框架,到分词、概率图、树库、词向量和语义角色,反复讨论如何将语言现象转成可计算对象,并展示训练、数据准备与工具接口。适合带着“输入是什么、标注表达什么、算法如何利用信息、输出能支持什么判断”四个问题阅读。

本地EPUB作者郑捷,电子工业出版社2017年1月第1版,ISBN9787121307652。16项spine均已读取,推荐序、前言和10章纳入实质范围,题名、简介、版权及目录另记排除。正文中的全部代码、公式和图片均已读;外部链接作品不因被引用就算已读。485张知识卡是各单元概念、机制、操作与边界的独立展开,整书讲解保留它们之间的主线。

全书按高信息浓度、高稳定性归为经典原理,主题机器学习,当前优先级P4。理由是词法歧义、概率归一、动态规划、树结构、语义角色与数据契约等机制可跨工具迁移。Python2、旧版CoreNLP/Keras、网站规模和模型评价数字保留历史条件,不作为当前安装推荐。书中存在多处推导、代码与概念错误;本笔记在生成时对照实际代码和必要一手材料限定结论,不能把原书每个示例都当可直接运行的正确实现。

全书主线

第一条主线是把语言层次拆开。汉字、词、词性、短语、句法位置、语义角色与指称实体回答不同问题。字形分析不能直接推出词义,句法主语不能自动等于施事,识别出实体名也不等于已经链接知识库。第一、二章提供语言学背景,后续每项算法都需要先说明自己选择了哪一层及其标注规范。

第二条主线是从候选到受约束选择。第三章将分词组织为词典匹配、词网路径和未登录词识别;第四章把局部特征、条件独立、隐状态及全局归一写成概率模型。前向求和与最佳路径最大化有不同目标,单位置最优也未必组成最优序列。第五、六章把这一思想扩展到词性、组块、实体和树结构,训练标签、特征模板与解码约束必须匹配。

第三条主线是模型能力受语言资源契约约束。第七章不只是介绍语料和知识库,还展示如何抽样、标注、检索、派生树视图及建立概念关系。代表性相对任务,人工标注也要记录来源和分歧,原树与派生数据需要可追溯对应。HowNet义原、RDF三元组、OWL本体和词向量各自表示不同信息,不能因都叫知识就直接互换。

第四条主线是从词面走向事件与语境。第八章以语义场、图式、原型、隐喻和构式解释意义如何受经验和使用方式影响;第九章以嵌入和循环状态学习分布线索;第十章再用共指、谓词论元与语义依存组织事件。认知理论是一种解释框架,神经模型是可训练计算对象,二者不能仅因名称相近就互为实验证明。

最后,架构整合的关键是边界。分词换了词粒度,后续标签和向量索引便可能失配;树库换版,论元位置指针可能漂移;跳过一个句法模块,也不意味着误差消失。可靠使用这些方法,需要把原文、标签、模型版本、输出结构和评价协议连在一起,并始终区分明确断言、模型推断与现实事实。

推荐序

推荐序从学科交叉出发,提醒以算法实现为中心的技术训练可能忽略语言学问题定义。这里对语义理解的主张来自推荐者经验与对本书的评价,不是对所有数据驱动方法效果的证明,也不把2017年前后的研究趋势写成今天事实。具体语言机制将并入后续实质章节,本序不重复另造知识卡。人物职务属于出版背景,未作现任身份核验。

进一步阅读:。

前言

前言说明本书连接汉语语言理论、算法体系与工程案例。理解和生成承担不同任务;作者以“模仿→象似性→算法理论”组织个人思考,同时希望从词与序列标注进一步进入句子语义。该路线是本书的论述立场,不是认知机制已被完整证明的结论。

全书三类内容交叉:语言史、句法、资源与认知构成理论线;中文分词、概率图、句法算法与神经学习构成方法线;开源工具、标注、词向量和语义解析构成案例线。章节跨越多条线,因此阅读时应把研究对象、表示结构、优化算法和具体工具分开。原书说概率论“没有百分之百”过强,概率1事件完全存在,不能用来否定确定性或证明学科进度。

进一步阅读:理解与生成是不同语言任务。

原书依据 · 1 处

中文语言的机器处理

第1章先将规则、统计与认知路线放在历史背景中,再建立可操作的工具链。规则显式表达语言约束,统计从语料比较候选,深度网络学习组合表示;这些机制可并用。中文屋讨论行为与理解的差异,不能当实验证明机器永不理解。2006年前后深度学习的推动也不意味着当年才发明第一个多层网络。

书中框架由分词、词性、句法与实体、组块、角色组成。每项输出解决不同问题,串联时上游边界与标签错误会影响下游;但这是特定2017流水线,非所有汉语系统必须照搬。歧义和隐喻需要语境,某个工具给出一棵树并不等于已经得到唯一真实意义。

工程部分把LTP 3.3、CoreNLP 3.6.0与NLTK组合。代码包、语言模型、词典和语料各有职责,安装Python库不等于下载模型。分词既受词典也受目标粒度影响,输出后字符串合并与解码时用户词典介入不同。结巴精确、全模式和检索模式服务不同目标,官方DAG/动态规划与HMM说明不应简写为NShort。词频5只是图中例值,不能当统一默认。

词性、实体和句法输出要保留原规范。北大与宾州标签不能直接按字符替换;NER不只找新词,边界与类型也不同。短语树组织成分,依存树连接词,系词结构可因标注标准选择不同中心,原文把Stanford根解释成是与输出不符。角色标签相对于谓词框架解释,A0/A1并非永远等同施事/受事。

自写Python包装演示公共文件操作与任务子类,但类名与选项缺空格、固定临时文件、未检查退出和tagfile不返回文本等限制不能照搬成可靠实现。其价值是看到输入→模型→结构输出的契约;书中例句、旧命令和截图没有在本机执行,不能称运行已验证。

进一步阅读:规则与统计采用不同证据组织;中文屋区分符号操作与理解;深度表示逐层组合非线性变换;歧义解析需要句外语境证据;流水线依赖使上游错误传递;LTP以模型模块组织中文分析;句法树与实体标签是不同输出;整合平台统一接口而非重写算法;安装库不等于下载语料和模型;分词规范决定何种边界算正确;旧版分词先加载模型再求边界;后处理合词与模型词典介入不同;用户词典应绑定领域与标注规范;分词模式分别服务切分与召回;结巴词图解码不能混称N短路;用户词频影响路径但非概率保证;词性判断依赖词的句中用法;词性标签映射要保留规范差异;词性操作须保持词与标签对齐;程序包与模型包承担不同职责;包装类继承公共路径和文件操作;命令包装要检查参数边界与退出;固定临时文件会混淆并行请求;实体识别不是仅识别未登录词;实体输出依赖具体输入特征契约;实体边界标记与类别要分别读;写入文件不等于返回标注文本;短语树与依存树表达不同关系;依存索引先分清词位与虚根;中心词选择取决于标注约定;结构树输出须匹配解析格式;语义角色以具体谓词框架为准;串接角色模型须核对跨度边界。

原书依据 · 33 处

汉语语言学研究回顾

第2章将汉字、词汇、句子和语义表示联系起来。它混合通用概念、古文字释形、历史叙述与作者的认知解释,阅读时需要区分证据层次:字形相似不直接证明字源,儿童语言习得也不能单独复原人类语言起源。本章关于孤立地理导致汉语保守、古人逻辑不成熟及语言必从两个实词起步的推论,均不作已证实结论。

文字部分介绍六书。象形简化对象轮廓,指事突出位置或局部,会意组合构件关系,形声分工提示意义类别与读音,假借以同近音现成字记录词。转注存在多种解释,书中规范化叙事须保留为作者理解。词义引申和隐喻可提供认知分析,不能拿现代拆字故事代替古文字考证。

字形随书写条件和用途变化。隶变既有线条曲直、连断、繁简与位置变化,也可省换增构件。书中的物理/化学变化只是比喻。识别字形时应区分笔画、部件和检字部首:列出构件还需空间布局,规范化有助辨认却不能消除词义和句义歧义。图中许多古字和拆分只作原书分析例,不当现代规范的唯一分解。

词汇与句子部分说明书面语不等于口语原样记录,基本词汇和新生词会变化,音节、字、语素和词须分清。复合词利用偏正、述宾、联合、主谓和述补等关系,但实际词义还受约定与词汇化影响。4000字的二元组合数说明抽象组合空间,不证明全部组合可用或足以解释历史双音化。古汉语词类活用、无系词判断或无标记被动,都需按具体语境分析,不能当缺乏语法和逻辑的证据。

最后引入句法、语义与语用三个平面,再进入本体和格框架。类、子类、个体、属性与约束构成知识表达,不同于把所有关系都画成上下位树。鸟的翅膀是部分关系,某只鸟是实例,鸟是动物才是子类关系,典型特征也不宜全写硬公理。语义格围绕谓词组织参与者,区别于形态格词尾;情态与命题再承担不同层次。格框架为后续角色标注提供入口,却不能穷尽完整句意。

进一步阅读:文字体系不同于任意记事符号;象形保留轮廓而非对象全部属性;指事以标记指示位置或局部;会意通过构件关系表达意义;形声区分语义提示与语音提示;转注解释须承认学说分歧;假借以现成字记录同近音词;语义引申须区分机制和词源证据;隐喻将熟悉领域关系用于新对象;书写工具改变形体表达的成本;隶变包含笔画与整体结构调整;字形改写未必改变词的音义;省换增构件影响表音表义线索;部首检索与部件拆分职责不同;构件身份与空间布局共同组字;符号规范化不消除语言歧义;指称与陈述可作句子分析视角;词类活用须结合具体语境解释;无显式系词不等于缺少判断;书面白话也经过文体组织;基本词汇与一般词汇会相互转化;音节数量不同于字和语素数量;复合构词利用多种成分关系;组合空间不等于实际有效词汇;缩略与加缀可改变词的长度;词义相关不代表语境完全可换;句法语义语用分析不同关系;本体分别描述类关系和个体事实;上下位关系不同于部分整体关系;本体约束要保留例外与知识范围;语义格不同于名词的形态格;谓词框架联系表层不同的论元;情态与命题在解释中承担不同层次;格框架有用但不穷尽全部意义。

原书依据 · 34 处

词汇与分词技术

第3章把分词变成带规范的候选选择问题。词典、规则与统计分别提供不同线索,不能用单一词表规模或历史成绩证明普遍效果。词和语素层次不同,粗细粒度须服从实体分析与检索等下游目标。交集歧义来自重叠候选,组合歧义来自整体或拆分竞争,统计歧义频率时还要统一上下文条件。最大匹配只做局部最长选择,正反方向分歧提供诊断线索而非完整消歧保证。

语言模型将整句候选转成可比较评分。链式法则是联合概率的精确展开,二元模型再把历史近似为前一词;共现计数需归一才能成为条件概率,句首边界也需约定。未登录词发现不同于命名实体识别,semi-CRF的semi通常指半马尔科夫而非半监督。作者的一些统计与当前商业优势判断只保留出版背景。

具体实现以书中HanLP 1.2.8为例。核心词典保存词性及其频数,二元词典保存有方向的搭配计数;人名词典还保存角色观察与标签转移信息。加载可先读缓存再回退文本,用TreeMap形成有序条目后构造双数组Trie,构建结构与运行检索结构并不相同。Trie共享前缀,但容量、内存和速度仍应按实际词集比较,不能据规模单独宣判哈希表失效。

输入先分成工作片段,再建按开始位置排列的候选词网。词典扫描保留多个长度候选,原子回退补覆盖并合并字母数字;realWord保留原串,word可使用姓名或数字替身参与统计。Java的char数组是UTF-16码元,不是UTF-8字节,偏移还需处理句首占位和分句映射。图只连接能连续覆盖原串的词,顶点号与原文位置不同;按终点保存入边服务后续递推。

代价来自源码中的负对数平滑评分,不是概率倒数。有效正概率的乘积最大可转为负对数和最小,但实现中的绝对值修正不能代替模型有效性检查。多短路粗分保留不同累计代价及同代价前驱,回溯可产生多条具体路径。日期等后处理规则再调整格式,仍有语境边界。

实体识别将观察角色、Viterbi标签和模式跨度分步完成,新增石国或石国祥等候选后,必要时重建词图解码整句,再转换输出。Recognition的true不能直接当新增实体,源码用词网大小变化作进一步判断。书中输入、输出和部分编号不一致,故这里只解释已读机制,不声称本机运行或复现历史精度。

进一步阅读:词典匹配受登录词范围限制;统计共现提供成词线索而非定义;分词标准是任务可复查的约定;语素粒度与词级粒度需要分开;粗细粒度取舍依赖下游目标;交集歧义由重叠候选词竞争;组合歧义需检验上下文成立;最大匹配作局部最长选择;双向结果差异可定位候选冲突;序列概率链式分解不同于近似;二元模型以相邻历史近似条件;二元频数先归一才是条件概率;未登录词与实体识别并不等价;半马尔科夫不等于半监督;词网保留多个覆盖同处的候选;初分实体识别再解码分工不同;词性频数与词总频数分层保存;二元词典保留有方向的搭配计数;角色发射信息与转移信息不同;人名角色编码刻画姓名及环境;角色序列再匹配允许的人名模式;词典缓存加速与源文件一致性不同;有序建表与最终查询结构可不同;前缀树共享共同字符路径;双数组表示压缩状态转移结构;资源根路径与词典配置共同定位;分句启发式不等于语言学句界;字符码元不同于UTF八字节;并行分句需恢复原文偏移语义;分词子类复用共同的输入调度;原始词形与统计替身分开保存;原子回退保证候选图可贯通;词网行号与词图节点号不同;边只连接可连续覆盖的候选;图结构按终点存储入边便于递推;负对数把路径乘积变成代价和;平滑让未见搭配保有有限代价;修正负权不能替代模型有效性检查;多短路保留替代的完整切分;等代价前驱可能形成多条路径;最短路递推依赖图序与适用条件;前驱回溯顺序不同于最终词序;后处理规则对特定格式作约束;角色观察到标签序列再到实体跨度;新实体仍须回到词网竞争路径;运行示例必须与输入版本一致。

原书依据 · 46 处

NLP中的概率图模型

本章将中文处理任务转成带不确定性的预测问题。联合分布描述共现,边缘化消去不关心的变量,条件分布则固定已知信息再归一。朴素贝叶斯在给定类别后假设特征独立,用先验与条件似然比较类别。词袋、计数与TF-IDF是输入表示选择,不应与分类模型混同;书内名为NBayes的实现实际使用加权求和,不能视为标准朴素贝叶斯复现。

熵是单次自信息的期望。条件熵度量平均剩余不确定性,互信息刻画平均依赖,交叉熵包含自身熵与KL散度。离散求和、条件正概率与支持集是公式成立的重要边界;书内熵算例与集合图不能不加限定地照搬。

图模型需要分别解决表示、学习和推断。n-gram以有限历史缓解组合爆炸,极大似然固定样本而估计参数。HMM在隐状态链上附加观测发射,前向求和求似然,Viterbi按状态保存最佳前缀并回溯求序列。天气例按表内数字应为晴、阴、雨,原书逐时刻取最大得到的路径不正确。

最大熵以经验特征约束限制可行分布,再选择熵最大的模型,得到由配分函数归一的指数形式。学习时要统一对数似然与负似然符号、二值与计数特征口径,迭代次数不能代替独立评价。

线性链CRF给定完整输入后联合预测标签序列。相邻标签特征与单点状态特征构成序列总分,全局配分函数汇总所有序列。矩阵连乘和前后向动态规划计算配分与边缘,Viterbi则完成最优序列搜索。公式、代码及教学表中的求和、索引、方向和边界错误均按实际已读内容限定;不声称运行原书历史程序。

进一步阅读:联合分布保留变量共现关系;边缘化消去非关注变量;条件概率必须有有效分母;条件独立不等于边缘独立;朴素假设是给定类后的独立;分类比较可消去共同证据项;词的独热不同于文档词袋;词频与文档频率分开统计;逆文档频率抑制普遍词;向量模型必须固定词表映射;示例求和评分并非朴素贝叶斯;训练调用链决定实际特征;未知词与零计数需要明示策略;训练样本回测不能证明泛化;信息量与熵分属单次和平均;均匀分布的最大熵有前提;熵计算先写概率再加权;条件熵是条件不确定性的平均;互信息区分局部与整体;交叉熵不是集合重叠面积;散度非负但不是对称距离;图模型分清表示学习和推断;有向依赖不自动表示因果;生成与判别按建模目标区分;四类概率模型的关系;短上下文模型缓解参数爆炸;未见组合不等于真实概率零;似然把样本固定参数当未知;马尔科夫性以当前状态为条件;隐马尔科夫模型的变量方向;状态转移和观测发射分别归一;前向求和保留所有前缀路径;最优序列需要前驱回溯;天气示例最优中间状态为阴;序列乘积可转到对数域计算;最大熵是在约束内少加假设;特征函数与约束等式分开;经验约束不等于总体真相;指数打分通过配分函数归一;似然和负似然优化方向相反;迭代缩放比较两类特征期望;训练与预测必须一致处理重复;参数变化小不等于泛化良好;随机场是按索引组织的变量族;极大团不等于最大规模团;无向分布通过势函数分解;线性链条件随机场的结构;状态特征并非单点标签概率;全局归一比较完整标签序列;矩阵连乘隐式汇总链上路径;前后向量组合得到标签边缘;条件似然学习对比特征统计;固定输入解码可略去配分函数;链式推断区分求和与取最大。

原书依据 · 54 处

词性、语块与命名实体识别

本章把分词、词性、组块与实体放到序列学习的共同框架中:输入是观察序列,输出标签彼此可能相关。不同任务的标签语义不同,处理顺序也取决于模型契约。词性属于语法分布属性,不能与主宾谓等句法成分一一对应;虚词的的、得、地及把、被等尤其依赖结构。跨规范映射可能丢失细节,书内对照表不能直接当转换程序。

Stanford示例将已切分词输入最大熵标签模型,并展示配置生成与训练。词窗口、标签历史、前后缀与字符形状属于不同特征;包装命令缺空格、单句训练及日志告警必须如实理解,不能把文件保存等同可用模型。版本和历史精度均不外推到当前环境。

组块提取从树库出发,先选择局部短语及投影规则,再转成BIO或BIOES序列。名词串可保留扁平结构,基础动词块也不等于递归完整谓语。词性、短语类别、句法功能和实体类型分别表达不同层次。输入列、空行句界与原树索引要保持可追溯。

CRF++用模板取上下文与词性特征,U与B区别在于结合一个还是两个输出标签,不是看几个输入词。模板展开值、标签数和参数布局决定存储规模;负权重不是负概率。正则、裁剪和线程各有作用,训练词错与句错、目标收敛与外部效果必须区分。

实体识别的困难来自姓名多样性、地名上下文歧义、机构别名与内部嵌套。领域路由、独立子模块、词典特征融合和层叠角色模型是书中讨论的不同策略,都需处理模块依赖和冲突。LTP示例把词典命中的位置长度编码成特征,再统一打分解码;HanLP示例从角色观察与转移统计推断序列,再匹配角色模式并形成候选。最终词网解码决定输出,候选增加不等于实体已确定。

进一步阅读:序列标注联合处理相邻标签;任务顺序应服从输入输出契约;词性与句法成分不能一一对应;词型歧义少仍可影响大量词次;标签规范是可复用模型的前提;同形助词按结构选择标签;长短被字结构依参与成分区分;把字标签不同于量词和动词;词性标签转换可能丢失信息;预切分输入不等于自动中文分词;词性训练配置规定模型契约;外部程序成功需检查实际结果;微型训练模型只用于说明流程;组块保留局部结构而非整棵树;树库短语到组块需要筛选规则;名词串可先扁平保留修饰歧义;专名与普通修饰结构需要区分;基础动词块不同于完整谓语;复合动词按共享结构判定;体标记层级和动词内部结构分开;数量限定和修饰短语各有中心;组块语料转换保留原文索引;序列文件必须保留句子边界;边界标签编码不等于识别效果;组块识别的训练与推断链;模板坐标分别表示相对行和列;一元二元按输出标签数区分;特征规模取决于展开值与标签;正则代价和裁剪阈值需验证集选择;训练日志区分词错与句错;模型参数和局部势不是概率表;实体类型范围由任务规范确定;姓名构成是识别线索而非硬边界;地名后缀和上下文都可能歧义;机构识别同时处理别名与嵌套;领域路由会引入分类依赖;实体模块结果合并需处理冲突;词典匹配可作为统计特征;词典特征区分词首词中和词尾;位编码保留重叠词的不同角色;特征词典索引定位参数切片;统计分词里的词典融合流程;层叠实体模型逐层复用候选;组织角色标签不同于词性;由已标注机构抽取角色统计;角色观察与转移统计各司其职;角色解码后仍需模式与边界映射;新增候选不等于最终实体输出。

原书依据 · 48 处

句法理论与自动分析

本章以两种表示理解句子结构。短语树组织词、短语、小句的层级,依存树则直接连接词与中心词;它们各自依赖标签规范,句法与语义也不一一对应。生成语法以有限规则和递归描述句集,文法推导、CFG左侧约束与终结串定义需要准确区分。书内示例规则有缺漏,不能用目标树证明规则已经完备。

短语结构树还可表达嵌入、控制、移位与省略。空范畴及共指标帮助保留表面未出现的论元位置,支撑动词则提醒同一词形在不同构式承担不同语义。树的叶路径、祖先关系与原文词序需要同时维护;画出括号树并不等于自动解析,重复词和嵌套类别也不能只靠字符串查找解决。

配价从数量、语义性质与句法实现三个维度描述谓词需求,并通过按义项组织的词典连接到例句。依存基本树要求单头、连通、无环及根约束,投射性是额外限制。实际CoNLL式交换还需明示词号、根号、缺值与额外角色列;成分到依存转换依赖中心词和标签规则,不能当无损等价。

PCFG给规则分配按左侧归一的概率,在简化独立假设下将树中每次规则使用概率相乘。内向动态规划求所有推导总概率,最大树算法保留切分与结构回指,外向量描述跨度之外的上下文。二叉、非空子段、单词初始化与起止边界是递推的前提,书内求和上界与回指写法需要纠正。

金标准树可直接统计规则频次,未定结构时可由内外向期望计数迭代重估;训练似然改善不保证全局最优或正确意义。Stanford历史训练与解析封装展示了数据、配置、词典、模型和输出之间的衔接,缺空格、未初始化命令、临时文件和None返回值均需按实际代码理解。当前工具可用性与精度不据2016年日志推断。

进一步阅读:句法结构与语义结构不一一对应;有限规则可递归生成无限句集;文法区分终结非终结与开始符;推导按产生式替换局部子串;上下文无关限制产生式左侧;文法能否完成推导需逐规则核对;成分树用层级表达连续词串;短语结构树示例;树可视化不同于从文本解析;句类判定要结合嵌入与并列;空范畴记录未显现的结构位置;语迹与先行词用共指标关联;控制主语与语境省略分开;共享右侧成分可用提升位置表示;支撑动词的实义由构式决定;树位置路径可定位叶词与词性;按词查祖先需处理重复与缺失;只看直接父节点不能排除所有嵌套;配价分数量语义性质和句法实现;核心论元可以不在表面出现;配价词典应按义项保存约束;依存结构直接连接词与中心词;非对称依存不足以保证形成树;投射性是额外结构限制;依存弧方向与标签需明确规范;词号和人工根号应成对转换;列式语料把句法与角色分别保存;成分树转依存需中心词规则;神经分类器不自动等于循环网络;依存标签必须随模型版本解释;概率文法按相同左部归一;树概率是规则实例概率乘积;句子概率须汇总全部候选树;内向变量汇总一个跨度内的推导;二叉递推需要文法形式前提;外向量保留跨度之外的推导;最佳树搜索还要保存结构回指;树库频次按左部归一估计规则;内外向期望计数驱动参数重估;句法概率动态规划的两条路线;训练模型应保存数据与语种配置;封装返回值应表达实际业务结果;解析器封装需维护命令与临时状态;句法训练示例不代表部署效果。

原书依据 · 44 处

建设语言资源库

本章从语言资源解释模型能学到什么。语料代表性相对目标分布,通用专用、动态静态、共时历时与平行对齐是不同维度。建设方案需要明确抽样单位、来源、时间、语体与标注层级,历史库的配额和规模可作案例,不能当当前普遍标准。标注必须可追溯、可独立存取,自动预标与人工改错能够迭代扩充领域资源,但应使用独立样本验收。

PFR、MSR与CTB展示了不同数据契约:段落与篇章编号、词性分隔、分词边界、括号树及外层标记不可混用。从同版树派生词与标签可减少错位,原始树和派生视图仍需分别保存。统计要区分词面与词性键、完整汉字过滤与前缀匹配,评价要把精确率与召回率分开。数据库导入示例还提醒部分失败、重复导入、参数绑定与事务能力必须由真实接口保证。

HowNet以义原及语义角色定义词义概念。它从多义词分解与去重出发,把实体、事件、属性、属性值、部分、时间与空间组织成可解释关系。分类、部分所属、参与角色和属性赋值不能都简化成上下位关系。静态关系与变化事件的对应、上位属性继承等是知识表示设计,不自动构成真实世界无例外的公理。

相似度计算按义项比较,而非仅按字形或共现。书中方案结合定义包含、义原路径距离、描述节点重合与类别定义,并对某些角色反差施加惩罚。医生与护士、病人的逐项计算可帮助理解分数来源,前后数值不一致也说明不能直接把示例分数当准确率或通用真值。

语义网把资源标识、结构化三元组和共享本体接到可交换数据上。RDF是图模型,XML是可选表示格式,普通维基XML转储并非现成RDF。DBpedia架构通过解析维基标记、不同抽取器、本体映射和单位规范化形成图数据;跨库链接还须区分相似与同一。页面可读、语法解析成功和事实正确属于不同验收层次。

进一步阅读:语料代表性必须相对研究目标;通用与专用语料回答不同问题;动态静态与共时历时是两轴;平行语料需要跨语言对齐;标注语料与语义知识库分工不同;语料规划联合确定样本和加工;抽样应控制来源重复并保留连续性;检索统计需能追溯原始样本;分层标注可以独立扩展;标注应与原文分离并可恢复;领域语料迭代需要独立验收集;领域语料扩充形成反馈循环;人民日报格式保留篇章段落层次;分词规范不同不能直接比较精度;词频键应明确是否包含词性;汉字过滤需要检验完整词串;分词系统评价兼顾质量与成本;精确率召回率各有不同分母;从同版树统一派生不同标注层;树库解析先识别外层文件结构;原树和派生视图需要可追溯映射;语料导入应保留失败与重试边界;数据库封装区分查询与提交职责;参数与事务保证须由实际接口落实;词汇知识网显式组织概念关系;义原是知识表示的基本语义单位;多义词需要分解到具体概念;语义角色以事件参与方式为中心;语义角色区分施事经历与领有;受影响对象与事件内容不能混同;时间空间角色保留起终与经过;方式工具材料与结果分别表达;概念分类和词形分类分开;实体事件属性和取值组成关系网;静态关系与关系变化可以配对;上位属性继承要区分能力与事实;部件配件与子类是不同关系;时间点与时间段依观察粒度;属性宿主不同于部分所属;属性与属性值需配套解释;相似度与相关性回答不同问题;语义相似先处理关系与定义层次;义原路径距离形成衰减分数;描述节点匹配计算重合比例;混合相似分数保留各项含义;医生示例数值必须按同一规则核算;语义网以可交换表示连接资源;三元组是图数据而非语法主谓宾;资源标识与字面值各有用途;数据模型不同于序列化格式;本体定义类别关系与逻辑约束;维基页面导出不等于语义三元组;百科到图谱需区分解析与抽取;原始信息框与本体映射各有代价;单特征和统计抽取输出含义不同;实体链接要核对标识粒度;属性匹配需保留歧义与证据。

原书依据 · 57 处

语义与认知

本章把语义解释由词典和分类推进到语境、经验与构式。语义三角分开符号、概念和对象,语义场与义素帮助比较词义,组合语义研究词义怎样按结构形成句义。这些框架各有用途,不能用单一路线宣布其他研究全部失效;概念外延也不等同于同义词集合。

认知取向强调视角、注意、原型和图形背景。顺序、邻近与重叠的象似解释提供倾向性线索,语言习惯和语境仍会改变解读。杯碗分类、基本层次及图式帮助说明经验如何影响理解,但群体比例不等于个人神经编码,静态词向量也不能证明某种脑理论。

路径、容器、连接、力和部分整体等图式分别保存不同关系。人物、角色、自我、情境、程序和策略图式组织默认预期,既可辅助理解,也会带来刻板推断。省略与复句融合必须保存事件及角色的对应,不能以默认经验覆盖文本歧义。

隐喻借源域结构理解目标域,转喻依靠同一场景中的关联。书中的时间金钱例须纠正两域名称。名词隐喻实验提供了从选词采样、人工标注到词窗分类的具体流程,结论受年代与采样约束,边界提取和测试调参还需防止信息泄漏。

构式将形式与意义配对,帮助解释中动、双及物、把字、致使、存现和得字结构。角色需要针对每个事件确定,句法主语与施事不能机械等同。构式知识库应保存槽位、使用限制与用例,而非仅积累表面模板和历史数量。

进一步阅读:意义解释需要共享理解基础;语义三角区分符号概念与对象;语义场通过相邻概念组织词义;同义名称不等于概念外延;义素分析要交代特征取得方式;上下义关系依分类层次确定;组合语义解释词义如何成句;真值与言语行为成功各有条件;认知语言解释不等于神经证明;象似指示与约定是不同联系;顺序象似是表达倾向而非铁律;修饰顺序同时影响范围和描写;形式邻近可提示结合紧密程度;重叠形式表达的量义需分类型;视角选择改变描述突出内容;注意分配不能替代歧义消解;原型范畴容许边界与典型性差异;分类实验要区分群体与个体概率;基本层次分类依任务与经验变化;图形与背景区分焦点和参照;意象图式是经验结构的抽象;路径图式保留起点路径与终点;中心边缘与部分整体分属两关系;容器连接与循环保留不同结构;力图式分析作用与反作用;图式转换可以改变同一过程焦点;事件框架分开动体运动路径背景;人物与角色图式可能引入刻板印象;情境程序与策略图式分层作用;自我与情感图式影响解释倾向;省略恢复依赖共同语境;复句关联不限于连接词识别;分句融合要保留共享与独立角色;明喻暗喻均需识别对应关系;转喻依关联替代而非仅凭相似;概念隐喻从源域映射到目标域;结构方位与实体隐喻侧重不同;隐喻计算需区分知识和识别步骤;隐喻语料比例受采样规则限制;隐喻识别流程需要独立标注依据;隐喻分类验证应防止标注泄漏;窗口选择应在验证集完成;构式以形式意义配对组织知识;中动表达改变事件的观察中心;双及物形式需区分转移与受影响;把字构式不只表示物理处置;致使分析分开使因对象与结果;存现句用场景引入实体或变化;得字复合事件要分别确定参与者;构式库要保存槽位条件与例证;非常规表达提示整体模式的贡献;语义解释需要分开四类信息;隐喻分类形成可验收的数据流程。

原书依据 · 53 处

NLP中的深度学习

本章前半从带权求和与激活进入优化,再以链式法则解释多层网络。训练目标与诊断误差需要对应,Sigmoid二分类示例的更新梯度与绘制平方误差并不一致。反向求导、参数更新和学习率选择是不同环节,求和索引也应区分输出、隐藏单元与样本。

词向量提供从词项到稠密表示的映射,但近邻不等于同义,二维跨语言图也不是完整翻译质量证据。CBOW以聚合上下文预测中心,Skip-gram从中心预测周围,不能与前面按位置拼接并加tanh的语言模型混同。层次softmax和负采样属于训练方案,文件格式、开关、词表与未登录处理决定工具能否正确接入。

自动上下位关系可结合词汇模式、已知词典及向量投影。统一投影难覆盖全部关系时,可按词对差向量分群学习。成对预测与传递推断仍可能传播错误并形成环,局部距离和删弱边启发式不保证全图最优或真实。结果必须限定到给定数据、指标和资源组合。后半循环网络与依存实验的讲解随后接续。

进一步阅读:神经元分开线性组合与激活;平滑激活便利求导但不保证收敛;学习率大小与收敛速度不成正比;交叉熵梯度与平方损失不能混用;增广输入把偏置纳入参数估计;反向传播沿计算图应用链式法则;输出局部导数不应重复求和;隐藏层误差汇合后继贡献;网络可从旧参数继续训练;分布相似不等于词义完全相同;稠密表示与独热编码分工不同;词向量相似度需要明确度量;跨语言映射不等于完整机器翻译;词向量评价兼顾内在与下游任务;连续词袋用上下文预测中心词;跳字模型用中心词预测上下文;层次归一化沿词树路径分解概率;词向量命令要核对开关和文件名;高频下采样与低频过滤是两机制;预训练向量使用前核对数据契约;上下位关系具有方向性;上下位投影学习多维回归映射;分段投影适应不同关系子群;关系传递会放大错误边;局部关系预测不保证全图无环;评价提升先分清百分点与比例;词向量模型需分开三类结构。

后半章以序列输入输出的对齐方式引入RNN。时间展开共享参数,状态逐步传递,反向梯度汇合当前输出和未来状态路径,再跨时间累积。二进制加法按低位输入展示进位记忆,但不能把演示泛化成任意长依赖已解决。LSTM用遗忘、输入与输出门控制加性细胞状态和隐藏输出,缓解长期学习困难,却没有无限记忆保证。

手写LSTM程序应按实际公式解释:它省略输出tanh,只用隐藏第0维拟合四步标量,并在每次随机矩阵生成时重设种子。状态、共享参数、节点复用与两路回传职责分开,才能理解学习过程,而不以损失下降认定已完成语言任务。

Keras分词实验将逐字BMES标签转换成局部窗口分类。原书词级向量与字级输入、预训练权重未实际接入、随机字窗交叉划分、首末标签约束不足等问题必须显式保留。窗口内LSTM不是整句持续状态,贪心改标签也不保证最优合法路径。安装与API均来自历史环境,笔记未宣称它们可在当前环境原样运行。

依存解析使用栈、缓冲与弧集合,通过SHIFT和左右连弧推进。书中nndep是词、词性和弧标签嵌入加立方隐藏层的前馈分类器,不是LSTM。动作种类2Nl+1不同于转移次数;显式位置模板、合法动作归一、交叉熵与正则共同构成训练。树库转换需留版本与失败,划分需留来源与重复边界,最终评价区分UAS和LAS。

进一步阅读:序列任务先确定输入输出对齐;循环网络共享参数而逐步更新状态;时序反传汇合当前与未来损失;循环权重梯度用前一步状态;二进制加法需要按低位到高位输入;长链梯度可能消失或爆炸;门控状态为长期传递提供路径;遗忘门控制保留比例;输入门控制候选信息写入;细胞状态与隐藏输出不能混同;手写门控变体要与公式对应;参数状态节点和序列各有生命周期;双路状态反传需分别累积;随机种子应控制整次初始化;单序列拟合不能证明标注能力;模块化框架分开结构目标和优化;保留全序列与只取末步用途不同;多输入编码后合并形成联合表示;字级分词必须使用字级输入契约;特殊符号须与真实文本分离;预训练矩阵必须实际接入嵌入层;窗口内循环不同于整句状态传递;划分数据应避免相邻窗口交叉;声明的训练选项要传到真实接口;标签合法性要覆盖起点和终点;贪心标签修正不保证序列最优;分词评价需按词跨度匹配;转移式依存解析保存栈缓冲与弧;移入与左右连弧改变不同状态;动作类别数不同于解析步数;稠密依存分类器并非循环网络;嵌入位置仍由显式模板选择;立方激活可形成高阶交互;动作学习结合交叉熵与正则;树库转换需要保留规范与失败记录;开发集划分应保留来源和重复边界;句向量语料解析要处理末尾边界;模型产出与训练成功需分别核验;循环训练分开前向状态与反向梯度;门控单元分开保留写入和读出。

原书依据 · 67 处

语义计算的架构

最后一章把基础模块接成语义计算系统。长句先识别完整分句、缺省成分、短语与停顿,再在局部分析后判断跨段关系;句长对精度的影响仍受语料和规范限制。共指则从提及检测、剪枝到有序筛选和簇后处理,需分别验收候选覆盖和实体聚合,书中只有提及而无共指链的输出不能算消解成功。

谓词论元结构使不同句法形式的核心事件角色能够比较。PropBank角色编号依特定义项,不是固定施受角色;把被由变换、名词化、轻动词和外部论元都需要具体框架。框架XML定义角色,CPB标注通过文件、句号和词位高度指针定位树实例,必须匹配资源版本。展开时要同时保留原记录、树结构及失败证据,不能靠表面文本近似强制关联。

语义依存把事件与参与者组织成关系弧,并用角色、事件间关系和虚词标记表达不同层次。核心选择属于标注约定,树形解码有结构前提;在线训练与解码搜索各有职责。少一个显式中间模块并不保证错误自动减少,历史UAS和LAS只能按当时实验解释。

全章架构连接词法、句法、共指与语义,但具体先后需按信息依赖确定,并保存跨模块原文坐标。图结构不是全部语义,问答或抽取仍须核验否定、时间、歧义和来源。实体关系抽取通过实体对、上下文、谓词及角色组合训练分类器;角色组合不能误写成实体三元组,实验划分和指标定义也必须保留,不能将一次英文成绩泛化为中文完整理解。

进一步阅读:长句切分需要同时保留跨段关系;片段标签是切分策略的数据契约;片段分类特征来自可获得的分析;局部树合并依赖单核心假设;跨片段关系不能照搬词间关系;共指先检测提及再决定实体聚合;候选剪枝在精确与召回间取舍;多路筛选按可靠性逐步聚合;共指约束服务特定标注定义;共指评分需要核对提及与计分器;检测到提及不等于已经找到共指链;共指模型代码与配置需同版匹配;语法变换可保留核心事件角色;谓词框架分开核心与附加信息;角色编号必须结合谓词义项解释;框架定义与实际标注各有用途;把被由结构要恢复角色而非词序;名词化谓词仍可组织事件角色;名词短语中心不必是事件谓词;轻动词支持关系依具体上下文;论元不必位于谓词局部短语内;命题记录指针依赖匹配树库版本;词位高度指针选择树中子结构;语义标注展开保留原编码与来源;标注解析失败应成为可恢复记录;语义依存关注角色关系而非词序;语义核心选择属于标注约定;参与角色区分行为者内容与产物;事件环境关系区分原因目的与结果;时间空间与数量关系需保留类型;角色倒置与事件嵌套是不同扩展;事件间关系不同于单事件论元;虚词标记保留否定情态与范围;树形解码不能直接覆盖任意语义图;在线学习与结构解码职责不同;跳过中间层仍需独立验证质量;整合架构需要稳定的跨模块坐标;共指与分句顺序需结合信息依赖;语义图不等于文本全部含义;关系抽取区分两端实体与关系证据;对称性取决于关系语义而非词序;关系分类需要无关系候选;角色对特征必须附着具体谓词;实体间词可补足角色覆盖缺口;特征实验须按实际划分解释;提及检测与共指聚合分两次验收;角色展开分开定义实例与树指针;实体关系抽取保留模型与证据边界。

原书依据 · 48 处

跨章综合

全书可以用“表示—资源—学习—约束—解释”连接。表示决定信息单元,资源决定可观察的样本与金标准,学习估计参数,解码按约束形成输出,解释再说明结果支持什么。若前面没有定义词粒度或角色规范,后面的高精度数字就缺少可比较的对象。

概率图与神经网络共享许多任务边界。HMM、CRF和RNN都可能用于标注,却对状态、依赖与归一作不同选择;前馈转移式依存分类器虽然反复参与解析,也并非LSTM。比较方案要从输入、目标、条件与错误传播出发,不能按名称或年代直接排优劣。

词汇知识、分布向量和事件结构相互补充。义原或本体给显式关系,词向量给训练分布中的邻近,语义角色把参与者接到具体谓词。相似不是同一,上下位不是部分关系,角色编号也不等固定施事。跨库合并必须保存这些差别,否则知识越多也可能只是错误链接越多。

原书案例还构成一条贯穿性的实现教训:公式、监控指标和真实程序可能不同。朴素贝叶斯类加和替代概率乘积、维特比缺回溯、Sigmoid监控平方误差却用交叉熵梯度、标准LSTM和简化代码不一致、词表粒度与输入不符、预训练矩阵未接入等,都说明看见模型名和下降曲线不足以验收。应逐步追踪数据形状、参数更新和输出定义。

flowchart LR
 A[语言现象与任务问题] --> B[明确表示与标注规范]
 B --> C[可追溯语料和知识资源]
 C --> D[特征或表示学习]
 D --> E[受约束解码与结构输出]
 E --> F[任务评价与解释边界]
 F -->|暴露歧义或数据缺口| B

这是一张跨章关系图,不声称每个实际系统必须逐项执行。用于阅读时,它提醒我们对每个模块都问清数据来源与去向;用于应用时,它帮助区分任务缺口、实现错误和模型能力限制。

发散与实践

实践选择两个有限目标。第一,从第十章命题展开进入固定版本NLTK解析器,已准备真实源码和首轮映射,继续理解词位、高度、空范畴和不连续论元,并核对100条是读块大小还是语料上限。第二,针对第七、九章的分词实验设计小型中文验收集,将标签合法、词跨度正确和独立数据评价分开。详细步骤分别见实践目录的idea-001-命题树指针实现深读.md和idea-002-设计中文分词验收集.md。

两张实践卡交付为计划;第一张另有已收集并实际读过的首轮源码材料。完整深读、验收集编制、训练和试跑都未执行,没有预填成绩或收益。原书全部旧工具重新安装、购买LDC资源、重建完整知识库和复现大规模训练不属于这次生成交付。

生成进度与管理记录

NLP汉语自然语言处理原理与实践 (郑捷)

Skill 版本:v24

执行模式:light

建档进度:done

四象限评级:经典原理(高信息浓度、高稳定性);主题机器学习;P4。

评级理由:全书解释分词歧义、概率归一、路径与树解码、资源组织及语义角色的机制,可跨工具迁移;2017旧API、配置及实验数字保留历史条件,错误公式与实现差异在生成当下限定。

整书笔记

章节进度追踪表

章节号 章节标题 状态(pending/done) 卡片数
00 推荐序 done 0
11 前言 done 1
01 中文语言的机器处理 done 33
02 汉语语言学研究回顾 done 34
03 词汇与分词技术 done 46
04 NLP中的概率图模型 done 54
05 词性、语块与命名实体识别 done 48
06 句法理论与自动分析 done 44
07 建设语言资源库 done 57
08 语义与认知 done 53
09 NLP中的深度学习 done 67
10 语义计算的架构 done 48

非正文排除

spine项 类型 排除理由
1–3、6 题名/简介/版权/目录 全文已读,身份与导航,无独立技术机制;2017年1月第1版,ISBN9787121307652;题名页无图;manifest封面Image00621.jpg已查看,与题名一致

待关联术语

术语名 出现章节 一句话语境
Aho–Corasick自动机 03 人名模式匹配只指名,无内部算法推导
潜在语义分析 01 列语义技术未展开算法
文本蕴含 01 列语义技术未展开判断机制
指代消解 01 此章仅提名,后续章节如展开另保留

| 隐马尔可夫模型 | 04 | 已实质成卡,后续同词按该定义关联 | | SME | 08 | 系统名称未展开内部机制 | | ACME | 08 | 仅列系统名称 | | Met5 | 08 | 隐喻系统仅提名 | | Adadelta | 09 | 优化器列表未展开算法 | | RMSprop | 09 | 仅列优化器名称 | | HDP | 09 | Gensim相关模型仅提名 |

引用文献

标题 类型(书/论文/框架/源码项目) 出现章节 一句话语境
中文分词十年回顾 论文 03 母语者切分差异引用,非本机实验
统计自然语言处理 — 宗成庆 书 03 交集与组合歧义定义来源,未读外部全书
基于N-最短路径方法的中文词语粗分模型 论文 03 权重与粗分模型引文
ICTCLAS4J 源码项目 03 重写版本仅提名
SharpIctclas 源码项目 03 C#重写仅提名
中国古文字的起源 — 牟作武 书 02 结绳、刻契与古文字讨论的引用,非已读原著
说文解字 — 许慎 书 02 六书与部类历史引用,释义保留争议
试论汉字的隶变 论文 02 字形变化分类的原书引用,未读全文
古代汉语 — 王力 书 02 文言概念来源
文学改良刍议 — 胡适 论文 02 八项写作主张历史引文
马氏文通 书 02 汉语语法学历史提及
新著国语文法 书 02 现代汉语语法史提及
中国文法要略 书 02 语法史提及
中国现代语法 书 02 语法史提及
汉语语法论 书 02 语法史提及
句法结构 — Chomsky 书 02 句法与语义讨论背景
HowNet 框架 02 这里只预告第7章,未以提名代替后续解释
FudanNLP 框架 01 处理框架列表,仅提名
HanLP 框架 01 处理框架列表,仅提名
ICTCLAS 框架 01 分词系统列表,仅提名
Ansj中文分词 框架 01 分词系统列表,仅提名
Python自然语言处理(NLTK) 书 01 作为入门延伸阅读
Deep learning — LeCun/Bengio/Hinton 论文 01 层次表示引文,未读全文
Computing Machinery and Intelligence 论文 01 图灵测试的历史引文,不将简写规则视为普遍标准
Language and Machines(ALPAC报告) 论文 01 机器翻译历史背景,不外推否定可行性

| A Maximum Entropy Approach to Natural Language Processing | 论文 | 04 | 条件最大熵约束及训练背景,纠错读§3 | | CRF++ | 框架 | 05 | 模板及训练实现来源,官方格式片段已核对 | | RDF 1.1 Primer | 论文 | 07 | W3C三元组及类型的补充纠错依据 | | 意义的意义 | 书 | 08 | 语义三角历史来源,外部原著未读 | | Master Metaphor List — George Lakoff | 论文 | 08 | 原始目录镜像仅目录已读,非整套材料 | | Efficient Estimation of Word Representations in Vector Space | 论文 | 09 | Word2vec原始结构对照,外部仅前段已读 | | A Fast and Accurate Dependency Parser using Neural Networks | 论文 | 09 | nndep前馈网络来源,外部仅摘要及转移段实际已读 | | On the difficulty of training recurrent neural networks | 论文 | 09 | 长链梯度问题的原书延伸引用,未读全文 | | Understanding LSTM Networks | 论文 | 09 | 原书引用图解博客,未声称外部全文已读 | | 基于统计方法的汉语依存句法分析研究 | 论文 | 10 | 片段切分和合并实验原书引用 | | 汉语语义依存分析 | 论文 | 10 | Eisner和K-MIRA实验来源,未读外部全文 | | 基于语义角色的实体关系抽取 | 论文 | 10 | 特征组合与有限样本实验来源 | | NLTK 3.9.2 | 源码项目 | 10 | 固定提交Propbank解析器首轮材料已读;非全项目 |

资金安全问题案例

问题标题 问题卡 解决方案卡(如有) 出现章节 一句话说明

实践卡进度

序号 实践标题 实践方式 状态(pending/done) 关联章节 产出

| 001 | 命题树指针实现深读 | 实现深读 | done | 10 | 计划与固定源码首轮映射 | | 002 | 设计中文分词验收集 | 真实任务 | done | 07、09 | 计划,未执行 |

实践候选筛选:done。合并相近语料/标签核验问题;不重复重建HMM/CRF/RNN,不以安装全部旧工具或购买语料作为目标。

生成交付

16项spine与全部图像/表格/公式/代码已读,11个实质单元done。485知识卡(25结构图)、2实践计划与独立整书讲解完成。light未执行生成后复核、独立审查及审查结果优化;2026-11-15按book-workflow v4 light完成导入、文件与数据库对账及485/485归档,topics check零差异。

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

暂无公开主题。