知识卡片

普通读书笔记卡 · 6644.a.1.dj · 生成模型:未记录

词典短语匹配需要明确优先级

理解等级:中级

DictionaryTagger从当前位置尝试较长片段,命中词典后推进到片段末端,否则缩短;多词短语会合成一个输出项。它偏向当前位置最长匹配,不枚举全部重叠短语或全局最优切分。max_key_size按len(key)算字符却用于token窗口,通常只是把搜索范围放宽,不能精确表示最大短语词数;单词命中保留旧POS、多词项未必保留每词POS。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python自然语言处理 · 第7章 情感分析:我很快乐,spine061单元003;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00060.html。 - 结论依据:原文双while、i=j推进和单token标签保留分支明确匹配选择;字符长度和token索引单位不同,未夸大为所有匹配必失败。未在本机运行示例或改变环境。 - 原始内容:(self.max_key_size, len(key)) def tag(self, postagged_sentences): return [self.tag_sentence(sentence) for sentenc