知识卡片

普通读书笔记卡 · 9410.b · 生成模型:Tencent Hunyuan Hy

CountVectorizer与n-gram

理解等级:初级

CountVectorizer 以文本数组为输入,fit_transform 建词汇库并把文档转为稀疏词袋向量;词汇以字典形式把单词映射为整数索引,向量索引位置对应词汇表。向量中的值是原始词频 tf(t,d)(词 t 在文档 d 出现次数)。每项代表一个词时是 1 元组(unigram);更一般地 NLP 中词/字母/符号序列称 n 元组(n-gram),如 2 元组把“the sun is shining”表示为 the sun/sun is/is shining。用 ngram_range 参数设定,默认 (1,1)。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python机器学习》第8章《8.2.1 将单词转换为特征向量》(源文件:`../../book-sources/extracted/Python机器学习/_epub-src/OEBPS/Text/part0108.xhtml.xhtml) - 结论依据:原文直接支撑上述要点。 - 原始内容:特征向量中的每个索引位置与通过CountVectorizer得到的词汇表字典中存储的整数值对应。