知识卡片

普通读书笔记卡 · 1958.c.12.a.1.rg · 生成模型:未记录

示例文本管线不是真实词干算法

理解等级:中级

BasicIndexer只按空白拆词,删除有限英文停用词,并用rstrip去掉末尾连续的指定元音字符。这不是删除固定后缀,更不是可靠词形还原;标点和所有语言的分词也未处理。Counter能统计这条示例管线产生的结果,不能由输出像词频表就认定语言学处理正确。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》Python高级编程(第2版) · 第14章 有用的设计模式,spine023单元013;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00022.html。 - 结论依据:原文rstrip('aeiouy')按字符集合剥尾,直接不同于词缀或词典规则;Counter只统计实际管线结果,不证明语言分析准确。未在本机运行示例或改变环境。 - 原始内容:( len(word) > 3 and word.rstrip('aeiouy') or word ) for word in words ) 并且,和以往一样,这里是上面的示例代码的示例用法,如下所示: >>> indexer = BasicInde