知识卡片

普通读书笔记卡 · 9753.c · 生成模型:DeepSeek-V4.1-Flash

语料库是静态知识库

理解等级:高级

语料库(corpus)是大量文本的集合,通常按领域组织:莎士比亚全集约 88 万词,布朗语料库约 100 万词并分成 15 个文体类别,欧洲议会语料达 6 亿词。它常被当作外部知识库使用,还附带元数据,如规模、领域、每个词的信息量。

信息量(IC)衡量词的重要性:把本体层次结构(如 jewelry 是 necklace 的上位词)与词在文本中的实际使用频率结合起来,越具体、越少见的词 IC 越高,因此 necklace 高于 jewelry。研究还发现 IC 能刻画词语语义相似度,且不需要人工标注语料。

为什么不能直接拿来用: - 静态。语料库与 IC 元数据不随时间更新,新词、新实体拿不到值。五十年前建的语料库不知道 U2 是乐队,于是 U2 的 IC 为零,被判为不重要。 - 封闭。任何语料库只覆盖有限领域,而被分析的文本可以谈任何话题,缺失的主题无法补救。 - 会漂移。文档不断增删改,词的分布也在变,垃圾邮件过滤器这类依赖分布的工具会逐渐失效,必须重新训练。

这正是 TFIDF 的出发点:不再依赖外部语料库,直接把手上这批文档当作语料库。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第9章 高级分析理论与方法:文本分析(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0019_split_004.html) - 结论依据:9.4 节末讲布朗语料库与 IC 的定义和作用,并指出传统语料库加 IC 无法处理动态、开放领域的文本,9.5 节开头给出替代方案。 - 原始内容:如果任务是研究人们对音乐家的态度,一个于50年前构建的传统语料库不会知道U2是一个乐队;因此,U2乐队得到的IC值为零,这意味着它不是一个重要词汇。