知识卡片
CountVectorizer与n-gram
CountVectorizer 以文本数组为输入,fit_transform 建词汇库并把文档转为稀疏词袋向量;词汇以字典形式把单词映射为整数索引,向量索引位置对应词汇表。向量中的值是原始词频 tf(t,d)(词 t 在文档 d 出现次数)。每项代表一个词时是 1 元组(unigram);更一般地 NLP 中词/字母/符号序列称 n 元组(n-gram),如 2 元组把“the sun is shining”表示为 the sun/sun is/is shining。用 ngram_range 参数设定,默认 (1,1)。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 使用机器学习进行情感分析 · 查看原书依据
特征向量中的每个索引位置与通过CountVectorizer得到的词汇表字典中存储的整数值对应。
参考来源
- 位置:《Python机器学习》第8章《8.2.1 将单词转换为特征向量》(源文件:`../../book-sources/extracted/Python机器学习/_epub-src/OEBPS/Text/part0108.xhtml.xhtml)
- 结论依据:原文直接支撑上述要点。
- 原始内容:特征向量中的每个索引位置与通过CountVectorizer得到的词汇表字典中存储的整数值对应。