知识卡片

普通读书笔记卡

短文本焦点词需多特征提取

理解等级:未标注

微博文本短,词频难区分词的重要性,传统 TF-IDF 抽取关键词效果不佳。书中提出焦点词抽取:保留 TF-IDF 信号,同时结合词在句中的位置、词性、命名实体、是否为标题等十余种特征,识别微博主体并减少噪声。统计方法迁入新场景时须重新检查其前提。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据时代的IT架构设计》第3篇《微博用户兴趣建模系统架构》"二、实时抽取系统" (源文件:_epub-src/OEBPS/text00013.html) - 结论依据:原文指出微博比较短小,如果采取传统的TF.IDF框架抽取关键词效果并不好,因此 提出焦点词抽取概念,融合词频等机制外还考虑单词出现位置、词性、是否命名实体、是否 标题等十几种特征,直接支撑本卡片关于统计方法前提假设失效及应对思路的结论。 - 原始内容:焦点词抽取与传统的关键词抽取有很大差异,因为微博比较短小,如果采取传统的 TF.IDF框架抽取关键词效果并不好,所以我们提出了焦点词抽取的概念,不仅融合传统的 TF.IDF等计算机制,也考虑了单词在句中的出现位置、词性、是否是命名实体、是否是标题等 十几种特征来精确抽取微博所涉及的主体内容,避免噪声词的出现。