知识卡片
词表资源不同于标注句子语料
Names与words提供名字或词条列表,fileids选择其中某文件,words长度只是该版本的列表项数;它们本身不提供每个句子位置的正确POS。训练监督标注器还需真实对齐的词—标签序列、分句与标签约定。2943、5001或235886都是出版样本,不是当前资源固定计数;默认pos_tag内部预训练器也不应永远叫旧Maxent Treebank实现。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第4章 词性标注:单词识别 4.2 创建词性标注语料库 · 查看原书依据
names.fileids()
参考来源
- 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python自然语言处理 · 第4章 词性标注:单词识别,spine058单元005;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00057.html。
- 结论依据:原文从名字词表切到预训练pos_tag,未给把名单变为金标准句子的标注过程,因此区分资源类型与训练要求。2026-11-06核对官方资料:https://www.nltk.org/api/nltk.tag.html。未在本机运行示例或改变环境。
- 原始内容:us import names >>> names.fileids() ['female.txt', 'male.txt'] >>> len(names.words('male.txt')) 2943 >>> len(names.words