知识卡片
短文本焦点词需多特征提取
微博文本短,词频难区分词的重要性,传统 TF-IDF 抽取关键词效果不佳。书中提出焦点词抽取:保留 TF-IDF 信号,同时结合词在句中的位置、词性、命名实体、是否为标题等十余种特征,识别微博主体并减少噪声。统计方法迁入新场景时须重新检查其前提。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《大数据时代的IT架构设计》第3篇《微博用户兴趣建模系统架构》"二、实时抽取系统"
(源文件:_epub-src/OEBPS/text00013.html)
- 结论依据:原文指出微博比较短小,如果采取传统的TF.IDF框架抽取关键词效果并不好,因此
提出焦点词抽取概念,融合词频等机制外还考虑单词出现位置、词性、是否命名实体、是否
标题等十几种特征,直接支撑本卡片关于统计方法前提假设失效及应对思路的结论。
- 原始内容:焦点词抽取与传统的关键词抽取有很大差异,因为微博比较短小,如果采取传统的
TF.IDF框架抽取关键词效果并不好,所以我们提出了焦点词抽取的概念,不仅融合传统的
TF.IDF等计算机制,也考虑了单词在句中的出现位置、词性、是否是命名实体、是否是标题等
十几种特征来精确抽取微博所涉及的主体内容,避免噪声词的出现。