知识卡片
示例文本管线不是真实词干算法
BasicIndexer只按空白拆词,删除有限英文停用词,并用rstrip去掉末尾连续的指定元音字符。这不是删除固定后缀,更不是可靠词形还原;标点和所有语言的分词也未处理。Counter能统计这条示例管线产生的结果,不能由输出像词频表就认定语言学处理正确。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第14章 有用的设计模式 14.3.3 模板 · 查看原书依据
word.rstrip('aeiouy')
参考来源
- 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》Python高级编程(第2版) · 第14章 有用的设计模式,spine023单元013;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00022.html。
- 结论依据:原文rstrip('aeiouy')按字符集合剥尾,直接不同于词缀或词典规则;Counter只统计实际管线结果,不证明语言分析准确。未在本机运行示例或改变环境。
- 原始内容:( len(word) > 3 and word.rstrip('aeiouy') or word ) for word in words ) 并且,和以往一样,这里是上面的示例代码的示例用法,如下所示: >>> indexer = BasicInde