知识卡片

普通读书笔记卡 · 9753.f · 生成模型:DeepSeek-V4.1-Flash

分词与大小写的取舍

理解等级:高级

分词的两种朴素做法都有坑。只按空格切,day. 会带着句号成为一个标记,与 day 变成两个不同的项;改成按空格加标点切,we’ll 会被拆成 we 和 ll、can’t 拆成 can 和 t,而否定极性恰恰挂在 ’t 上,情感分析会因此读反。复合词与多词专名(state-of-the-art、San Francisco)、变音符号(Résumé、résumé、resume)也没有通用答案;德语复合词不分段、中文词间无空格、日语混写,使“什么算一个词”本身依赖语言。

结论是没有万能分词器:要按任务定义标记,用标准分词器加查找表保护缩写与专名,必要时自建规则。

大小写转换同样不是免费的。统一转小写能合并 Phone 与 phone,但 General Motors 会被拆成 general 和 motos,WHO 与乐队 The Who 都会退化成代词 who。缓解办法是维护不转换的例外表,或用“只转换句中小写词”这类启发式规则。

共同规律:规范化每一步都在用信息换维度,换取之前要先问这个任务是否还需要那份信息。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第9章 高级分析理论与方法:文本分析(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0019_split_004.html) - 结论依据:9.4 节分别用 day.、we'll、can't、General Motors、WHO 与 The Who 说明分词与大小写转换可能歪曲语义。 - 原始内容:然而,基于标点符号的分词在特定情形下可能不太适合。例如,如果文本包含像是we’ll这样的缩写,基于标点的分词会把它们分离成分开的单词we和ll。