← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9795.a · 生成模型:DeepSeek-V4.1-Flash

专名识别就是找词边界

理解等级:中级

专名识别要找出句中的人名、地名、机构名、时间词、数字词、影视名。做法是把它变成序列标注:给每个词或字打边界标记,P_B 表示名字开始、P_M 表示中间、P_E 表示结尾,然后用 CRF 或 BiLSTM-CRF 逐位预测,模型学到的是“什么样的前缀后面大概率接名字”。它成立的条件是类别有稳定结构:人名靠姓氏与用字,地名靠“市、县、路”这类后缀,边界可学,所以 F1 很高。失效场景同样清楚:音乐名、小说名的边界很“泛”,没有规律,模型学不到,只能靠词表加业务规则兜;时间词这类反而用正则更省事。分词、词性标注共用这套框架,三者本质都是给序列每位贴标签。边界在于,词表覆盖不到的新词仍然要模型去猜。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第8章 理解语言有多难 · 查看原书依据

      所以要想提高准确率,必须依靠模型、词表和一些业务规则来识别了,当然了有些专有名词靠正则就可以搞定了,比如时间词等。说白了,专名识别和分词都是找词的边界,都是序列标注任务

    参考来源

    - 位置:《文本上的算法——深入浅出自然语言处理》第8章 理解语言有多难(源文件:extracted/文本上的算法——深入浅出自然语言处理/_epub-src/OEBPS/Text/00015.html) - 结论依据:原文这一段直接给出本卡的核心判断:「所以要想提高准确率,必须依靠模型、词表和一些业务规则来识别了,当然了有些专有名词……」 - 原始内容:所以要想提高准确率,必须依靠模型、词表和一些业务规则来识别了,当然了有些专有名词靠正则就可以搞定了,比如时间词等。说白了,专名识别和分词都是找词的边界,都是序列标注任务