知识卡片
后缀特征是数据线索而非语素证明
从词尾1—3字符挑常见片段,再记录endswith布尔特征,可让决策树利用词形线索;常见项可能是标点或整个短词,不必是真正后缀。词表选择应基于训练范围,原文取整个Brown后再划分news会改变独立评估设定。变量suffix_freqdist/suffix_fdist和方法名错配也未形成可直接运行程序,0.627是原书样本。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
参考来源
- 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python自然语言处理 · 第10章 NLP系统评估:性能分析,spine064单元004;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00063.html。
- 结论依据:原文常见片段含逗号、the等,布尔endswith与全Brown统计明确线索范围,不把词频片段自动等同形态规则。未在本机运行示例或改变环境。
- 原始内容:[wrd[-3:]] += 1 >>> common_suffixes = [suffix for (suffix, count) in suffix_freqdist. most_common(100)] >>> print(common