知识卡片
规范化须匹配分析对象
同一标签出现大小写变体时,可按分析目标归并后统计,但要保留原值并说明规则。把所有词、昵称、标点都机械小写或删除,可能改变原本要分析的对象差异;表中my和My分开,是未经这种归并的原始计数。表情等看似噪声的片段也可能承载查询相关含义。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- · 查看原书依据
归一化到小写形式,因为推文中一定存在大小写上的差异。
参考来源
- 位置:《社交网站的数据挖掘与分析(原书第2版)》第1章《1.4.2 使用频率分析技术分析推文和推文实体》(spine65;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0054.html;u024-ch01-026)。
- 结论依据:原文在“归一化到小写形式”附近的定义、例子或代码支撑本卡核心说明:同一标签出现大小写变体时,可按分析目标归并后统计,但要保留原值并说明规则。边界按已读前提解释;示例未执行。
- 原始内容:归一化到小写形式,因为推文中一定存在大小写上的差异。