知识卡片
容量大不等于样本多
评估数据规模不能只看存储容量。三种容量大但价值低的情形:单个对象很大但记录少,如 2GB 视频只算 1 个样本;记录少但维度极多,如 100 个客户各有 1 万个维度,带来稀疏和共线性;记录和维度都不多,但单个维度(如大文本字段)容量很大。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《企业大数据系统构建实战:技术、架构、实施与应用》第10章《企业大数据价值评估》"10.1.1 数据规模"之"数据记录数"(源文件:_epub-src/OEBPS/text00159.html)
- 结论依据:原文说明"单纯的数据存储容量大,并不意味着具备大量可用的数据样本。以下几种情况数据存储容量较大,但是却很难具备较高的数据价值:单个数据对象大,但数据记录数较少……数据库中的记录数少,但是数据维度非常多……数据库中的记录数少,同时维度也不多,但每个维度的容量较大",直接支撑本卡结论。
- 原始内容:单纯的数据存储容量大,并不意味着具备大量可用的数据样本……单个数据对象大,但数据记录数较少。比如,一个视频文件可能达到2GB,但实际上样本量只是一个,因此无法从中提取有效且稳定的知识规律