知识卡片
三层汇总得到强度矩阵
一天的原始记录长这样:某人某天用某款 APP 的时长、流量与起止时间,无法直接横向比较用户。三步把它压平:先用 appid 去 app_class.csv 查类别(4 000 多个常用 APP 归入 a~t 二十类,其余记为 unknown),再按 uid 与 app_class 汇总出“每人每天每类总时长”,最后跨 30 天累加并除以该用户的有效观测天数,得到日均强度。由于取值有大量 0 且高度右偏,加 1 后取对数才进入相关分析与聚类。分母用有效天数而非 30,是这张矩阵能否可信的关键。做完这一步,f、g、c、d、t 五类的日均强度排在前五,任意两类 APP 的相关系数也能算了:a 类与 b、c、f、g、i、k、o、p、q 相关较强,f 类同样如此,说明存在较固定的“搭配使用”组合。
结构图:
flowchart TD
A["日明细:uid 与 appid 的使用时长"] --> B["查 app_class.csv 映射到 a~t 类别"]
B --> C["按 uid 与类别汇总当日总时长"]
C --> D["30 天累加后除以有效观测天数"]
D --> E["加 1 取对数得强度矩阵"]
E --> F["相关分析与 K 均值聚类"]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第10章 大数据案例分析 · 查看原书依据
由于每类APP的内容不同、涵盖范围不同、面向的人群不同,导致不同种类的 APP其使用情况不同。表1 0—2展示了各类APP的使用强度(有效观测天数的日均使用时长,因为数据取值有0且高度右偏,所以数据加1之后取对数)。
参考来源
- 位置:《大数据挖掘与统计机器学习》第10章 大数据案例分析(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter12_0001.xhtml,10.1.2 描述统计分析)
- 结论依据:原文列出三步程序要点(映射类别、按 uid 与 app_class 日汇总、跨 30 天汇总),并说明因取值有 0 且高度右偏而加 1 取对数。
- 原始内容:由于每类APP的内容不同、涵盖范围不同、面向的人群不同,导致不同种类的 APP其使用情况不同。表1 0—2展示了各类APP的使用强度(有效观测天数的日均使用时长,因为数据取值有0且高度右偏,所以数据加1之后取对数)。