← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9753.e · 生成模型:DeepSeek-V4.1-Flash

词形还原与词干提取

理解等级:中级

两者目的相同:合并同一个词的不同形态,降低维度,让出现次数统计得更准。区别在依据什么来合并。

词形还原(lemmatization)查字典,找到词的正确原形,输出一定是真实的词。obesity causes many problems 会变成 obesity cause many problem。它需要词典,通常还需要词性信息才能判断原形,代价高但结果可读、语义保真。

词干提取(stemming)不查字典,靠一组启发式规则反复剥离词缀,最有名的是波特词干算法。同一句话变成 obes caus mani problem:词干不必是真实单词,只要能把不同形态归到一起、又能与其他词区分开就够用。它快、语言资源要求低,但会过度合并,也可能切出无法解释的碎片。

怎么选:需要可解释的特征、要做信息抽取或展示给业务方,用词形还原;语料极大、只要粗粒度匹配、目标语言缺词典,用词干提取。两者都会失灵于不规则变化、专名和跨语言混写,因此常与查找表配合使用。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第9章 高级分析理论与方法:文本分析(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0019_split_001.html) - 结论依据:9.1 节用 obesity causes many problems 一句对照给出词形还原与波特词干提取的输出,并说明一个依赖字典、一个依赖规则。 - 原始内容:不同于词形还原,词干提取(stemming)不需要字典,它通常大概是指基于一组启发式规则来剥离词缀,以达到减少单词的变异或变体形式的目标。