← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9811.h · 生成模型:DeepSeek-V4.1-Flash

观测特征与转移特征分工

理解等级:中级

CRF 自己不规定特征,特征由模板生成,模板的写法直接决定模型能看到什么。

Unigram 模板只看输入侧,如 %x[-2,0]、%x[-1,0]/%x[0,0],含义是“当前字”“前一字 + 当前字”等组合。每个模板与每个标签组合出一个二值函数(条件成立返回 1,否则 0),函数总数是 L×N,L 为标签数,N 为训练集展开后生成的唯一样本数——八个 token、五个标签就是 40 个函数。Bigram 模板引入前一刻的标签,形如 func(S′, S),枚举“上一个标签是 B、当前是 M”这类组合,共 L×L 个。

两类函数训练后各得权重:Unigram 权重衡量“看到这个字串时打某标签的证据有多强”,Bigram 权重等价于 HMM 里的转移概率,衡量“从某标签跳到某标签有多合理”。工程上的好处是想加领域知识不必改模型,只加模板(如加入“当前字是否姓氏用字”“前一词是否动词”);坏处是模板一多特征维度爆炸,训练时间和内存都吃紧,通常要做频次裁剪。训练流程固定:清洗、分词、按标签集标注,配好模板,交给 CRF++ 这类工具训练。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第3章 知识图谱相关理论(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0044.html) - 结论依据:原文点明 CRF 目标函数由状态特征与转移特征两部分组成,这正是 Unigram 模板与 Bigram 模板各自生成的东西。 - 原始内容:CRF模型适用于序列标注模型的训练是因为,CRF训练的序列标注的目标函数除了包含输入的状态特征函数外,还包含各个标签之间的转移特征函数。