知识卡片
预处理顺序会改变模型输入
先展开Don’t再分词得到Do、not,先分词则得到Do、n’t,两者词表和后续停用词命中可能不同。应在训练与推断中使用一致流水线,并核对否定是否保留;先替换不是所有任务的唯一正确顺序。原例用于展示缩写表示变化,没有证明展开一定提升分类或检索质量。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第1章 字符串操作 1.3.3 在执行切分前先执行替换操作 · 查看原书依据
word_tokenize(replacer.replace
参考来源
- 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python自然语言处理 · 第1章 字符串操作,spine055单元016;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00054.html。
- 结论依据:原文同一句两种调用次序与输出对比,支撑顺序影响表示,但没有质量对照实验。未在本机运行示例或改变环境。
- 原始内容:', 'questions'] >>> word_tokenize(replacer.replace("Don't hesitate to ask questions")) ['Do', 'not', 'hesitate', 'to', 'ask', 'question