知识卡片
NER四代技术各补了什么
命名实体识别(NER)要回答的是:一句话里哪些片段是人名、机构、地名、时间、金额。四代方法的差别在于“特征从哪来”。
规则与字典:手写正则和词表。金额、日期、URL 这类强模式实体至今仍用正则,但中文人名、机构名靠规则写不全,换领域就失效。统计学习:HMM、MEMM、CRF 把识别变成序列标注,特征(当前字、前后字、词性)仍要人设计,但权重从标注语料里学,泛化明显好于字典。深度学习:RNN-CRF、CNN-CRF 用词向量和网络自动提特征,省掉大部分特征工程。预训练:ELMo、BERT、Transformer 提供上下文相关的词表示,把“苹果”在不同句子里的向量区分开,成为当前首选。
这条线的规律是每一代都在减少人工特征、增加对标注数据和算力的依赖。反过来也成立:标注少、实体类型固定的场景(如病历里的药名、合同里的金额),规则或小模型仍然比大模型划算——换代不是无条件的升级。
结构图:
flowchart LR
A["规则与字典"] --> B["统计学习:HMM / MEMM / CRF"]
B --> C["深度学习:RNN-CRF / CNN-CRF"]
C --> D["预训练:ELMo / BERT"]
A -.->|人工特征减少、标注与算力依赖上升| D
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第3章 知识图谱相关理论 · 查看原书依据
早期人们利用基于规则和字典的方法识别实体,手段比较粗暴,泛化性差。传统的机器学习利用HMM、MEMM、CRF算法模型代替了早期通过字典和规则来识别实体。
参考来源
- 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第3章 知识图谱相关理论(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0044.html)
- 结论依据:原文按顺序描述规则字典、统计模型、深度模型、预训练模型的替代关系,并点明早期方法泛化性差,支撑“每代补上一代的短板”。
- 原始内容:早期人们利用基于规则和字典的方法识别实体,手段比较粗暴,泛化性差。传统的机器学习利用HMM、MEMM、CRF算法模型代替了早期通过字典和规则来识别实体。