知识卡片
语料库是静态知识库
语料库(corpus)是大量文本的集合,通常按领域组织:莎士比亚全集约 88 万词,布朗语料库约 100 万词并分成 15 个文体类别,欧洲议会语料达 6 亿词。它常被当作外部知识库使用,还附带元数据,如规模、领域、每个词的信息量。
信息量(IC)衡量词的重要性:把本体层次结构(如 jewelry 是 necklace 的上位词)与词在文本中的实际使用频率结合起来,越具体、越少见的词 IC 越高,因此 necklace 高于 jewelry。研究还发现 IC 能刻画词语语义相似度,且不需要人工标注语料。
为什么不能直接拿来用: - 静态。语料库与 IC 元数据不随时间更新,新词、新实体拿不到值。五十年前建的语料库不知道 U2 是乐队,于是 U2 的 IC 为零,被判为不重要。 - 封闭。任何语料库只覆盖有限领域,而被分析的文本可以谈任何话题,缺失的主题无法补救。 - 会漂移。文档不断增删改,词的分布也在变,垃圾邮件过滤器这类依赖分布的工具会逐渐失效,必须重新训练。
这正是 TFIDF 的出发点:不再依赖外部语料库,直接把手上这批文档当作语料库。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第9章 高级分析理论与方法:文本分析 · 查看原书依据
如果任务是研究人们对音乐家的态度,一个于50年前构建的传统语料库不会知道U2是一个乐队;因此,U2乐队得到的IC值为零,这意味着它不是一个重要词汇。
参考来源
- 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第9章 高级分析理论与方法:文本分析(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0019_split_004.html)
- 结论依据:9.4 节末讲布朗语料库与 IC 的定义和作用,并指出传统语料库加 IC 无法处理动态、开放领域的文本,9.5 节开头给出替代方案。
- 原始内容:如果任务是研究人们对音乐家的态度,一个于50年前构建的传统语料库不会知道U2是一个乐队;因此,U2乐队得到的IC值为零,这意味着它不是一个重要词汇。