知识卡片
词性区别不能代替词义消歧
POS标注按上下文给每个token分配词类,如bear可标动词或名词,从而区分容忍与动物这类跨词类歧义。但同为名词的多个词义仍无法只靠POS区分;词性标注、词义消歧和文档分类是相关但不同任务。示例输出是某标注器对该句的预测,不证明每个句子都能被正确理解。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第4章 词性标注:单词识别 4.1 词性标注简介 · 查看原书依据
I cannot bear the pain of bear
参考来源
- 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python自然语言处理 · 第4章 词性标注:单词识别,spine058单元002;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00057.html。
- 结论依据:原文bear两标签例支持跨词类区分,但后节把POS与WSD同义混用过强,标签本身不包含完整词义。未在本机运行示例或改变环境。
- 原始内容:nltk.word_tokenize("I cannot bear the pain of bear") >>> nltk.pos_tag(text) [('I', 'PRP'), ('can', 'MD'), ('not', 'RB'), ('bear', 'VB')