知识卡片
词典短语匹配需要明确优先级
DictionaryTagger从当前位置尝试较长片段,命中词典后推进到片段末端,否则缩短;多词短语会合成一个输出项。它偏向当前位置最长匹配,不枚举全部重叠短语或全局最优切分。max_key_size按len(key)算字符却用于token窗口,通常只是把搜索范围放宽,不能精确表示最大短语词数;单词命中保留旧POS、多词项未必保留每词POS。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
参考来源
- 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python自然语言处理 · 第7章 情感分析:我很快乐,spine061单元003;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00060.html。
- 结论依据:原文双while、i=j推进和单token标签保留分支明确匹配选择;字符长度和token索引单位不同,未夸大为所有匹配必失败。未在本机运行示例或改变环境。
- 原始内容:(self.max_key_size, len(key)) def tag(self, postagged_sentences): return [self.tag_sentence(sentence) for sentenc