知识卡片
词形还原与词干提取
两者目的相同:合并同一个词的不同形态,降低维度,让出现次数统计得更准。区别在依据什么来合并。
词形还原(lemmatization)查字典,找到词的正确原形,输出一定是真实的词。obesity causes many problems 会变成 obesity cause many problem。它需要词典,通常还需要词性信息才能判断原形,代价高但结果可读、语义保真。
词干提取(stemming)不查字典,靠一组启发式规则反复剥离词缀,最有名的是波特词干算法。同一句话变成 obes caus mani problem:词干不必是真实单词,只要能把不同形态归到一起、又能与其他词区分开就够用。它快、语言资源要求低,但会过度合并,也可能切出无法解释的碎片。
怎么选:需要可解释的特征、要做信息抽取或展示给业务方,用词形还原;语料极大、只要粗粒度匹配、目标语言缺词典,用词干提取。两者都会失灵于不规则变化、专名和跨语言混写,因此常与查找表配合使用。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第9章 高级分析理论与方法:文本分析 · 查看原书依据
不同于词形还原,词干提取(stemming)不需要字典,它通常大概是指基于一组启发式规则来剥离词缀,以达到减少单词的变异或变体形式的目标。
参考来源
- 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第9章 高级分析理论与方法:文本分析(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0019_split_001.html)
- 结论依据:9.1 节用 obesity causes many problems 一句对照给出词形还原与波特词干提取的输出,并说明一个依赖字典、一个依赖规则。
- 原始内容:不同于词形还原,词干提取(stemming)不需要字典,它通常大概是指基于一组启发式规则来剥离词缀,以达到减少单词的变异或变体形式的目标。