知识卡片
文本编码决定可见信息
结构化字典可保留数值字段并把类别字段扩展成指示列。词袋用训练词表固定各列并统计每篇文档的出现次数,TF–IDF 进一步降低广泛出现的词的权重。两者基础形式都忽略词序。新闻分类时词表、文档频率均在训练侧建立,测试沿用同一映射。
可参照[[朴素贝叶斯按输入选分布]]。词频表示可直接作为多项式变体的输入。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 综合实践:模型优化的经验技巧 · 查看原书依据
在将文本数据转化成特征向量的过程中,比较常用的文本特征表示法为词袋法。词袋法不考虑词汇出现的顺序,将每个词汇单独作为一列特征,这些不重复的特征词汇集合就构成了词汇表。词袋法主要通过调用两个应用程序接口
参考来源
- 位置:《从零开始:机器学习的数学原理和算法实践》第14章《综合实践:模型优化的经验技巧》(来源项目 book-source:extracted/从零开始:机器学习的数学原理和算法实践/_epub-src/OEBPS/Text/chapter014.xhtml)
- 结论依据:书比较字典编码、文本计数和逆文档频率,并展示训练文本拟合词表。
- 原始内容:在将文本数据转化成特征向量的过程中,比较常用的文本特征表示法为词袋法。词袋法不考虑词汇出现的顺序,将每个词汇单独作为一列特征,这些不重复的特征词汇集合就构成了词汇表。词袋法主要通过调用两个应用程序接口