知识卡片

结构图卡 · 9811.i · 生成模型:DeepSeek-V4.1-Flash

自动提特征后为何要CRF

理解等级:高级

BiLSTM 解决的是特征工程问题:词向量进双向 LSTM,前向与后向隐状态按位置拼接,得到每个位置融合左右上下文的表示,再经线性层映射成 k 个标签的分数,称为发射分数。

但只用 BiLSTM 逐位取 argmax 会出非法序列:模型可能让 O 后面直接跟 M,而 M 只能跟在 B 之后。原因是每个位置独立分类,标签之间的约束没有被建模。CRF 层补的正是这一块:它在发射分数之外加一个 (k+2)×(k+2) 的转移矩阵(多出的 2 个是起始与结束状态),整句得分 = Σ 发射分数 + Σ 转移分数,再经 softmax 得到序列概率、取对数似然训练。预测仍用维特比解码,保证输出的是全局最优的合法路径。

分工因此很清楚:BiLSTM 负责“看上下文提特征”,CRF 负责“保证标签序列合法”。若实体边界本来就简单、标签集很小,纯 BiLSTM 加规则后处理也能用;实体密集、边界易混(中文人名与机构名交界)时,CRF 层的收益最明显。

结构图:

flowchart LR
  A["词向量"] --> B["BiLSTM:拼接双向隐状态"]
  B --> C["线性层:发射分数"]
  C --> D["CRF:转移矩阵 + 序列得分"]
  D --> E["维特比解码"]
  E --> F["合法标签序列"]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第3章 知识图谱相关理论 · 查看原书依据

      但是,深度学习预测出来的标签有可能是无效的,因为其是对每个token单独的标签预测,没有联系上下文信息。深度学习模型需要CRF提供更多的标签之间的转移概率,即上下文信息。

    参考来源

    - 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第3章 知识图谱相关理论(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0044.html) - 结论依据:原文指出逐 token 独立预测会产生无效标签序列,需要 CRF 提供标签间转移信息,这是两层组合的直接理由。 - 原始内容:但是,深度学习预测出来的标签有可能是无效的,因为其是对每个token单独的标签预测,没有联系上下文信息。深度学习模型需要CRF提供更多的标签之间的转移概率,即上下文信息。