知识卡片
删块内成分与寻找块是两操作
chunking把若干token标为一个语块,chinking则从候选块里排除某些成分、可能把块分开。原文把“消除语块一部分”也叫分块,容易混淆。两者都只是浅层结构处理,不能当作完整句法解析;某段是否保留取决于明确定义的规则,不是任意删掉读起来不重要的词。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
参考来源
- 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python自然语言处理 · 第4章 词性标注:单词识别,spine058单元009;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00057.html。
- 结论依据:原文此段描述排除块内容,与前面正向组块不同;NLTK教程分别解释chunking和chinking,支持术语修正。2026-11-06核对官方资料:https://www.nltk.org/book/ch07.html。未在本机运行示例或改变环境。
- 原始内容:形式如图4-5所示。 图4-5 分块是语块的一部分被消除的过程。既可以使用整个语块,也可以使用语块中间的一部分并删除剩余的部分,或者也可以使用语块从开始或结尾截取的一部分并删除剩余的部分。 考虑在NLTK中有关 Unigram