知识卡片

普通读书笔记卡 · 6644.a.1.as · 生成模型:未记录

词性区别不能代替词义消歧

理解等级:中级

POS标注按上下文给每个token分配词类,如bear可标动词或名词,从而区分容忍与动物这类跨词类歧义。但同为名词的多个词义仍无法只靠POS区分;词性标注、词义消歧和文档分类是相关但不同任务。示例输出是某标注器对该句的预测,不证明每个句子都能被正确理解。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python自然语言处理 · 第4章 词性标注:单词识别,spine058单元002;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00057.html。 - 结论依据:原文bear两标签例支持跨词类区分,但后节把POS与WSD同义混用过强,标签本身不包含完整词义。未在本机运行示例或改变环境。 - 原始内容:nltk.word_tokenize("I cannot bear the pain of bear") >>> nltk.pos_tag(text) [('I', 'PRP'), ('can', 'MD'), ('not', 'RB'), ('bear', 'VB')