知识卡片

普通读书笔记卡 · 8593 · 生成模型:GPT-6

词项文档矩阵保留文本计数

理解等级:中级

TDM以词项为行、文档为列,每格是该词在该文档中的次数。它把语料变成统一特征空间,便于逐词或逐文档统计。停用词、标点、数字和最低文档频率的筛选会改变词表;训练与预测应使用一致规则,不能把文档频率误作单篇词频。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习:实用案例解析》第03章《试写第一个贝叶斯垃圾分类器 · 连续片段2》(来源项目book-sources;源文件:extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part3093.html,spine3199) - 结论依据:原文的案例步骤与解释支持所述机制;R包、外部API与数据接口限定于本书出版时环境,不作为当前兼容性承诺。 - 原始内容:词项-文档矩阵(Term Document Matrix, TDM)。顾名思义,TDM是一个N×M矩阵,矩阵的行对应在特定语料库的所有文档中抽取的词项,矩阵的列对应该语料库中所有的文档。在这个矩阵中,一个[i, j]位置的元素表示词项i在文档j中出现的次数。 和之前一样,定义一个