知识卡片
中文自动摘要实例
用 Word Embedding 做中文关键词抽取是一条可复现的操作流程:先导入中文语料,用 jieba 分词并过滤停用词;再用 Gensim 的 Word2Vec(Skip-Gram,size=50、window=5、min_count=5)训练词向量;接着对含标题与摘要的文档做分词、去停用词、词性筛选,把候选词的向量取出;最后对候选关键词向量聚类,为各主题生成若干关键词。词性筛选常保留 n、nz、v、vd、vn、l、a、d 等,向量按主题写入 CSV。示例中该方法对“永磁电机防溜策略”等专利主题抽出的关键词准确且有意义,验证了词向量加聚类的有效性。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第1章 万物皆可嵌入 · 查看原书依据
使用Word Embedding方法提取关键字,主要步骤如下: 1)导入一个中文语料库; 2)基于这个中文语料库,搭建word2vec模型,训练得到各单词的词向量; 3)导入一个文档,包括各主题及其概要描述信息,预处理该文档,并转换为词向量; 4)用聚类的方法,生成各主题的若干个关键词。
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第1章 万物皆可嵌入(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter4_0007.xhtml)
- 结论依据:原文分背景、预处理、生成词向量、词转向量、聚类、查看结果六小节给出了完整代码步骤,并展示了不错的关键词输出。
- 原始内容:使用Word Embedding方法提取关键字,主要步骤如下: 1)导入一个中文语料库; 2)基于这个中文语料库,搭建word2vec模型,训练得到各单词的词向量; 3)导入一个文档,包括各主题及其概要描述信息,预处理该文档,并转换为词向量; 4)用聚类的方法,生成各主题的若干个关键词。