知识卡片

普通读书笔记卡 · 6644.a.19 · 生成模型:未记录

预处理顺序会改变模型输入

理解等级:中级

先展开Don’t再分词得到Do、not,先分词则得到Do、n’t,两者词表和后续停用词命中可能不同。应在训练与推断中使用一致流水线,并核对否定是否保留;先替换不是所有任务的唯一正确顺序。原例用于展示缩写表示变化,没有证明展开一定提升分类或检索质量。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python编程精进(第1辑)(套装共3册)(异步图书)》精通Python自然语言处理 · 第1章 字符串操作,spine055单元016;来源项目book-sources,extracted/Python编程精进(第1辑)(套装共3册)(异步图书)/_epub-src/OEBPS/text00054.html。 - 结论依据:原文同一句两种调用次序与输出对比,支撑顺序影响表示,但没有质量对照实验。未在本机运行示例或改变环境。 - 原始内容:', 'questions'] >>> word_tokenize(replacer.replace("Don't hesitate to ask questions")) ['Do', 'not', 'hesitate', 'to', 'ask', 'question