知识卡片
从原文到词袋向量
原始文本不能直接进模型,中间要经过一串规范化动作,最后落成一个数值向量。顺序大致是:分词把字符串切成标记,大小写转换统一写法,去停用词删掉高频虚词,词形还原或词干提取把同一词的不同形态并成一个,词袋把文档变成“词与次数”的稀疏向量,再乘上 TFIDF 权重供模型使用。
为什么必须逐步来:每一步都在做“合并”或“丢弃”。合并(大小写、词形)提高同一个词的命中率,丢弃(停用词)降低维度;两者都会损失信息,所以每一步都要按任务决定强度。做信息抽取时,大小写和标点可能承载语义,不宜一律抹平;做粗粒度聚类时,激进合并反而有利。
顺序的含义:先去停用词再做词形归并,可以减少无意义的归并计算;先分词才能判断哪些是停用词。反过来做,往往要在中间再补一次扫描。
验收标准:向量里应当只剩下对任务有区分度的词,且同一实体的不同写法已经合并;如果向量里还漂着 the、and,或者 play 与 playing 各占一维,说明规范化没做到位。
结构图:
flowchart LR
A[原始评论] --> B[分词]
B --> C[大小写转换]
C --> D[去停用词]
D --> E[词形归并]
E --> F[词袋向量]
F --> G[TFIDF权重]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第9章 高级分析理论与方法:文本分析 · 查看原书依据
在数据表示阶段,首先使用文本规范化技术(比如断词和大小写转换[case folding])对原始文本进行转化,并用更加结构化的方法来表示,以供分析。
参考来源
- 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第9章 高级分析理论与方法:文本分析(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0019_split_004.html)
- 结论依据:9.4 节按分词、大小写转换、词袋的顺序讲表示,9.5 节再补上停用词、只存非零项与词形归并这三种降维手段。
- 原始内容:在数据表示阶段,首先使用文本规范化技术(比如断词和大小写转换[case folding])对原始文本进行转化,并用更加结构化的方法来表示,以供分析。