知识卡片
专名识别就是找词边界
专名识别要找出句中的人名、地名、机构名、时间词、数字词、影视名。做法是把它变成序列标注:给每个词或字打边界标记,P_B 表示名字开始、P_M 表示中间、P_E 表示结尾,然后用 CRF 或 BiLSTM-CRF 逐位预测,模型学到的是“什么样的前缀后面大概率接名字”。它成立的条件是类别有稳定结构:人名靠姓氏与用字,地名靠“市、县、路”这类后缀,边界可学,所以 F1 很高。失效场景同样清楚:音乐名、小说名的边界很“泛”,没有规律,模型学不到,只能靠词表加业务规则兜;时间词这类反而用正则更省事。分词、词性标注共用这套框架,三者本质都是给序列每位贴标签。边界在于,词表覆盖不到的新词仍然要模型去猜。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 理解语言有多难 · 查看原书依据
所以要想提高准确率,必须依靠模型、词表和一些业务规则来识别了,当然了有些专有名词靠正则就可以搞定了,比如时间词等。说白了,专名识别和分词都是找词的边界,都是序列标注任务
参考来源
- 位置:《文本上的算法——深入浅出自然语言处理》第8章 理解语言有多难(源文件:extracted/文本上的算法——深入浅出自然语言处理/_epub-src/OEBPS/Text/00015.html)
- 结论依据:原文这一段直接给出本卡的核心判断:「所以要想提高准确率,必须依靠模型、词表和一些业务规则来识别了,当然了有些专有名词……」
- 原始内容:所以要想提高准确率,必须依靠模型、词表和一些业务规则来识别了,当然了有些专有名词靠正则就可以搞定了,比如时间词等。说白了,专名识别和分词都是找词的边界,都是序列标注任务