知识卡片

普通读书笔记卡 · 9811.g · 生成模型:DeepSeek-V4.1-Flash

CRF为什么适合序列标注

理解等级:高级

HMM 是生成式模型:建模联合概率 P(X,Y),把标签序列当作隐状态,假设文本由隐状态经马尔可夫过程生成,预测时求 argmax P(X,Y)。这带来两个硬假设——观测独立(当前字只依赖当前标签)和齐次马尔可夫(当前标签只依赖前一个标签)。中文里“当前字受后一个字影响”很常见(“中华”与“华人”),观测独立一旦不成立,精度就受限。

CRF 是判别式模型:直接建模 P(Y|X),每个位置的标签 yi 同时依赖 y{i-1} 和整个输入 X,因此可以用到“后一个字是什么”“是否词边界”这类全局特征,不必为输入分布假设一个生成过程。代价是训练要跑整条序列,目标函数是带转移项的对数似然,用随机梯度下降一类方法优化;预测时不能逐位贪心,必须用维特比算法在标签转移图上做动态规划,求整条路径的最优解——它的复杂度与序列长度成线性,所以实际可用。

一句话概括取舍:HMM 假设强、训练快、易解释;CRF 假设弱、特征自由、精度高,是深度学习之前工业界做 NER 的主流选择。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第3章 知识图谱相关理论 · 查看原书依据

      HMM是一种生成式模型,也就是通过联合概率P(Y,X)直接建模输入文本X和输出标签序列Y。HMM将待测的标签序列视作隐变量,将输入文本X视作由这些隐变量经由马尔可夫随机过程生成的结果。

    参考来源

    - 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第3章 知识图谱相关理论(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0044.html) - 结论依据:原文用“生成式 vs 判别式”对照 HMM 与 CRF 的建模对象,并指出 CRF 中每个 y_i 还依赖整个输入 X,这是 CRF 精度更高的原因。 - 原始内容:HMM是一种生成式模型,也就是通过联合概率P(Y,X)直接建模输入文本X和输出标签序列Y。HMM将待测的标签序列视作隐变量,将输入文本X视作由这些隐变量经由马尔可夫随机过程生成的结果。